猿急送>

上海后端兼职程序员

ID：325820

脱缰之驹

技术专家

公司信息：
唯品会

工作经验：
15年

兼职日薪：
1000元/8小时

兼职时间：
可工作日驻场（离职原因）
可工作日驻场（自由职业原因）

所在区域：
上海
浦东

技术能力

熟悉多项大数据处理/分析相关的工具/框架：
1. 熟悉数据采集方法，如利用Sqoop采集公司各业务库的数据，或者解析mySQL Binlog信息来入仓或入湖；利用Flume+Kafka采集前端埋点数据；
2. 并根据业务需求，分别采用实时流式计算（如Storm,Spark Streaming,Flink等）或离线批处理计算（利用Hadoop生态相关技术，如MapReduce、HDFS、Hive、Hbase等）对采集的数据进行清洗处理；
3. 清洗处理后的数据，根据业务分析需要，分别存储于离线的数仓或者数据湖，或者较实时的数据存储于Redis/Pika、Hbase等中；
4. 构建公司统一的数据分析平台，分别使用Hive/Spark SQL/Presto/Clickhouse等查询引擎来满足业务人员对数据响应的需求；同时对于相对固定的业务报表数据，可利用Kylin来实现各因子数据的预计算来提升查询效率。
5. 优秀的理解能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值。

项目经验

负责公司的用户画像标签平台建设；参与数据中台建设，并成为公司数据治理委员会委员。面向超大规模数据问题，每天处理亿级增量的用户行为数据；负责大数据平台的数据采集、处理、存储以及挖掘分析的架构实现；构建设计良好的数据流、数据仓库、数据服务、分析系统，降低数据的使用门槛；构建公司级数据质量监控平台，以确保数据的安全及实现数据的最大价值。从0到1的打造了用户画像标签系统，到今天这个系统也是随着线上运营的变迁和大数据处理技术的升级而不断的进行蜕变经历了1.0时代（从采集，清洗，建模，存储，可视化都要亲力亲为，标签生成慢，对线上支持不足），2.0时代（公司大数据平台日趋成熟，有幸参与公司数据中台建设，成为数据治理委员会委员，标签生产比较容易能更多的支持线上运营），走到了今天3.0时代（实现标签智能化，提升数据实时性，线上实现交互式营销场景）；总而言之，标签系统日趋完善和成熟。

熟悉多项大数据处理/分析相关的工具/框架：
1. 熟悉数据采集方法，如利用Sqoop采集公司各业务库的数据，或者解析mySQL Binlog信息来入仓或入湖；利用Flume+Kafka采集前端埋点数据；
2. 并根据业务需求，分别采用实时流式计算（如Storm,Spark Streaming,Flink等）或离线批处理计算（利用Hadoop生态相关技术，如MapReduce、HDFS、Hive、Hbase等）对采集的数据进行清洗处理；
3. 清洗处理后的数据，根据业务分析需要，分别存储于离线的数仓或者数据湖，或者较实时的数据存储于Redis/Pika、Hbase等中；
4. 构建公司统一的数据分析平台，分别使用Hive/Spark SQL/Presto/Clickhouse等查询引擎来满足业务人员对数据响应的需求；同时对于相对固定的业务报表数据，可利用Kylin来实现各因子数据的预计算来提升查询效率。
5. 优秀的理解能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值。
1、负责基础架构部的团队组建；
2、带领团队人员完成数据访问层（DAL）架构设计及开发；
3、带领团队人员数据缓存服务的设计及开发；
4、带领团队人员重购主站后端SOA服务层的整体架构。
5、带领团队人员建设业务基础平台（包括统一订单系统，统一支付结算系统，统一会员体系等）