Fuqiang

系统架构师
微梦创科网络科技(中国)有限公司-新浪微博 · 14年经验
Fuqiang
日薪: ¥500/8h
地点: 西安
时间: 周六周日
ID:432599 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Kafka Flink Redis HBase Hive 机器学习 Hadoop
技术/经验:
1. 大数据
a) 5年 hadoop MapReduce 开发经验。4年 flink 开发经验。对大数据相关组件 hive、hbase 、storm、oozie、redis、kafka等 均有深入了解。
2. 平台相关
a) 实时计算平台从0到1设计搭建,运维,推广。
b) 降本增效、平台整合。
3. 解决方案设计
a) 基于实时计算平台构建物料及特征解决方案。
b) 基于实时计算平台构建样本及机器学习解决方案。
c) 基于实时计算平台构建多媒体及物料去重解决解决方案。
4. 业内分享
a) 2019.9月-云栖大会-Flink 在微博机器学习应用
b) 2020.4月-Flink Forward 全球会议-微博基于 Flink 的机器学习实践
c) 2020.10月-DataFunTalk 主办的【数据计算专题论坛】-演讲嘉宾
d) 2020.12月-Flink 官方主办的【Flink Forward Asia2020】-演讲嘉宾
e) 2021.12月 A2M 2021 年技术大会 -演讲嘉宾
5. 技术社区
a) 2020.4月-Flink 官微-发表【Flink 消息聚合处理方案】
b) 2020.8月-Flink 官微-发表【数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验】
c) 2020.9月-Flink 官微/DataFunTalk 官微-发表【如何基于 Flink 生成在线机器学习的样本】
d) 2020.9月-文章【微博机器学习平台-云上最佳实践】被收录于书籍《大数据与 AI的16种可能》

职位:部门实时计算平台负责人
职责:
1. 负责实时计算平台的部署、建设、运维、优化、升级、迁移、故障处理等日常工作。支撑整个部门的实时计算需求。
a) 基于 flink 部署和搭建实时计算平台。Yarn 和 k8s 均有。集群规模公司内部第一。
b) flink 版本升级迭代。目前已经迭代三次。
c) storm 迁移 flink。
d) 各种实际业务场景的性能及资源优化。
e) 定期作业巡检,协助业务方改善优化作业。
f) 持续跟踪业内先进经验,不断优化升级公司内部 flink 内核版本及平台功能。
g) flink 集群搭建、运维、规划等。
2. 负责平台相关统架构设计、架构评审、代码 review 、系统性能测试评审等工作。
a) 设计实时计算平台全链路环节。
b) 主持实时计算相关的技术架构设计评审、代码 review 、性能测试等。
3. 负责业务需求对接、设计实现方案、需求进度把控、实现结果验证等相关工作。
a) 支持部门内部20+业务方需求。参与重点业务的系统架构设计。
b) 需求进度管理把控等事项。
4. 支持在线、离线训练框架。
a)以 flink 为基础,搭建在线、离线训练平台。支持大规模机器学习。
b)引入 alink、tf 等训练框架支持公司业务。
5. 支持数据中台建设及数据治理
a) 参与数据安全设计
b) 参与数据质量校验
c) 支持数仓建设及元数据管理
d)参与数据运维
6. 负责实时计算团队管理及建设。
a) 团队招聘
b) 团队建设
c) 团队规模9-14人
Fuqiang ID:432599 复制

Fuqiang

系统架构师 · 14年经验 · 微梦创科网络科技(中国)有限公司-新浪微博
城市西安 日薪500元/8h 时间 周六周日
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Kafka Flink Redis HBase Hive 机器学习 Hadoop
技术/经验:
1. 大数据
a) 5年 hadoop MapReduce 开发经验。4年 flink 开发经验。对大数据相关组件 hive、hbase 、storm、oozie、redis、kafka等 均有深入了解。
2. 平台相关
a) 实时计算平台从0到1设计搭建,运维,推广。
b) 降本增效、平台整合。
3. 解决方案设计
a) 基于实时计算平台构建物料及特征解决方案。
b) 基于实时计算平台构建样本及机器学习解决方案。
c) 基于实时计算平台构建多媒体及物料去重解决解决方案。
4. 业内分享
a) 2019.9月-云栖大会-Flink 在微博机器学习应用
b) 2020.4月-Flink Forward 全球会议-微博基于 Flink 的机器学习实践
c) 2020.10月-DataFunTalk 主办的【数据计算专题论坛】-演讲嘉宾
d) 2020.12月-Flink 官方主办的【Flink Forward Asia2020】-演讲嘉宾
e) 2021.12月 A2M 2021 年技术大会 -演讲嘉宾
5. 技术社区
a) 2020.4月-Flink 官微-发表【Flink 消息聚合处理方案】
b) 2020.8月-Flink 官微-发表【数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验】
c) 2020.9月-Flink 官微/DataFunTalk 官微-发表【如何基于 Flink 生成在线机器学习的样本】
d) 2020.9月-文章【微博机器学习平台-云上最佳实践】被收录于书籍《大数据与 AI的16种可能》

项目经验

职位:部门实时计算平台负责人
职责:
1. 负责实时计算平台的部署、建设、运维、优化、升级、迁移、故障处理等日常工作。支撑整个部门的实时计算需求。
a) 基于 flink 部署和搭建实时计算平台。Yarn 和 k8s 均有。集群规模公司内部第一。
b) flink 版本升级迭代。目前已经迭代三次。
c) storm 迁移 flink。
d) 各种实际业务场景的性能及资源优化。
e) 定期作业巡检,协助业务方改善优化作业。
f) 持续跟踪业内先进经验,不断优化升级公司内部 flink 内核版本及平台功能。
g) flink 集群搭建、运维、规划等。
2. 负责平台相关统架构设计、架构评审、代码 review 、系统性能测试评审等工作。
a) 设计实时计算平台全链路环节。
b) 主持实时计算相关的技术架构设计评审、代码 review 、性能测试等。
3. 负责业务需求对接、设计实现方案、需求进度把控、实现结果验证等相关工作。
a) 支持部门内部20+业务方需求。参与重点业务的系统架构设计。
b) 需求进度管理把控等事项。
4. 支持在线、离线训练框架。
a)以 flink 为基础,搭建在线、离线训练平台。支持大规模机器学习。
b)引入 alink、tf 等训练框架支持公司业务。
5. 支持数据中台建设及数据治理
a) 参与数据安全设计
b) 参与数据质量校验
c) 支持数仓建设及元数据管理
d)参与数据运维
6. 负责实时计算团队管理及建设。
a) 团队招聘
b) 团队建设
c) 团队规模9-14人
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏