猿急送>

上海后端兼职程序员

ID：317058

THE ARROW

技术专家

公司信息：
上海金仕达卫宁科技有限公司

工作经验：
15年

兼职日薪：
1000元/8小时

兼职时间：
可工作日远程
可工作日驻场（自由职业原因）

所在区域：
上海
普陀

技术能力

系统分析师。具有丰富的全栈开发实战经验，包括 web 开发，分布式系统架构，大数据技术栈(Hadoop\hive\impala\clickhouse\hbase\zookeeper\kafka)，
数据中台技术栈，
阿里云腾讯云华为云等大数据技术栈，
云原生k8s技术，
数据仓库架构及建设；
具备组建和管理团队的能力。
有着海量大数据处理实战经验及丰富的架构设计经历；
多行业经验，具备多种开发语言的能力（java、python、scala等），善于不断学习提升解决各种问题的能力。

项目经验

卫宁数据中台
为了整合内外部数据使用的场景及多技术栈集成，提升公司在数据基础平台层面的技术能力，因此需要设计满足自我公司需求的一套较为独立的数据中台解决方案。
● 灵活的集成开源的技术栈（CDH、HDP等）及云平台技术（阿里云的 ODPS 、腾讯的 TBDS等）
● 统一的用户管理及权限管理选型
● 整合技术引擎的平台（基于 linkis 计算中间件为核心）
● 数据源及数据流转集成（ETL 平台，或者是 Exchangis 平台、自研的 databus）
● 数据探索及交互平台（Scriptis 平台）
● 工作流调度平台（Schedulis 可以集成第三方工作流，例如 ooize、azkaban等）
● 模型训练平台（扩展版本）

CRM圈人服务
架构设计了整体的人群服务框架及各任务环节分解，查询 API 设计，定义标签组规则(购物年龄、购物性别、职业特征、时段偏好、生活方式、营销偏好等)，各标签算法逻辑规则定义，另外一个重点是如何提供高效多标签条件查询引擎解决方案。

海量实时OLAP查询平台
设计实时查询平台的API接口，底层技术调研，业务逻辑熟悉，并且需要支持多个实时查询引擎，如：druid.io和impala等，来应对不同的业务场景，最终形成了内存数据库-＞druid.io引擎-＞impala引擎的三层引擎架构；为了再次提高响应速度，增加了多层次的Cache集群架构(内存缓存、内存数据缓存等）。保证了高可用，数据不丢失等因素