一朵小流云ooo
高级大数据开发工程师
- 公司信息：
- maimai
- 工作经验：
- 6年
- 兼职日薪：
- 1200元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 北京
- 海淀
技术能力
掌握 java 语言，了解并发编程和jvm等；掌握 flink编程,深刻了解 flink 底层运行机制；掌握 hadoop计算框架编程,掌握
hdfs 分布式文件系统存储结构和高可用原理；掌握 kafka 等日志收集,分发框架的使用;了解 redis数据库，及集群搭建；能
够开发 python脚本；了解 linux 系统,熟悉shell 脚本编程；了解 JavaWeb 框架springboot,react,mybatis并有过相关项目
经验；有公安 政府海量数据处理经验处理经验
项目经验
abTest 大数据开发工程师
通过埋点平台，指标平台衍生出 abTest 平台，能清晰测试出广告着陆页、Web/H5 页面、
APP 用户体验、媒体广告投放与管理、灰度发布，衡量哪个方案更优。
技术栈：
springboot,redis,clickhouse,mysql
工作内容：
2021.06-2022.09
2018.09-2021.05
1. 参与设计相关平台需求分析，问题讨论，库表设计等工作；
2. 负责数据平台后台开发测试工作；
3. 支撑业务快速迭代，保证在线服务；
4. 参与重构测试底层计算逻辑
数据平台 数据后台开发
针对公司现有数据体系进行数据平台建设，其中包括数据洞察，埋点平台，标签治理等，
对于人员，公司等不同维度进行画像设计，其中负责参与数据洞察平台建设，埋点平台建设整
体调研规划，参与库表设计，数据治理制定数据录入规范，负责整体平台的后端开发。
技术栈：
springboot,mysql,redis,clickhouse,hive
工作内容：
1. 参与设计相关平台需求分析，问题讨论，库表设计等工作；
2. 负责数据平台后台开发测试工作；
3. 支撑业务快速迭代，保证在线服务；
实时数据处理系统 大数据开发工程师
内容:
百亿级数据量的一个大数据平台，主要是对于人流控制，人员监控、人员流动、实时告警
等一些手段。使用了 flume,kafka,flink,hive,mpp,hbase,es,redis,mysql 等组件，大体框架：接入，
计算，存储，服务，应用五步，接入：业务数据和日志通过 flume 获取并生产到 kafka ，计算：
通过 flink 来对数据进行计算，存储：算出的数据存在对应的 hive，hbase，es ，服务：提供的
查询接口，应用：最后把数据展现到应用系统上。其中有离线查询，分析，实时定位，监控等
功能。目的利用大数据技术方便且快速的开展工作。
技术栈：
flink,kafka,redis,hive
工作内容：
1.主要负责 flink 来对数据进行实时统计，数据清洗，实时业务计算；
2.优化相应算子，提高 flink 性能，保证 flink 的 job 运行稳定；
3.监控报警：对 Flink 任务的存活状态进行监控，对异常的任务进行邮件报警并根据设定的
参数对任务进行自动拉起与恢复；
4.数据质量：监控实时数据指标，对历史的实时数据与离线 hive 计算的数据定时做对比，提
供实时数据的数据质量指标，对超过阈值的指标数据进行报警。
业绩:
1. 开发过滤数据的job
2. 处理线上出现的问题，保证系统稳定
案例展示
-
abTest
我负责的AB测试平台是一个面向广告着陆页、Web/H5、APP用户体验优化与灰度发布的大数据实验平台。平台通过整合埋点与指标数据，支持从实验创建、流量分配、实时指标计算到统计置信的全流程自动化，帮助产品与运营团队科学评估不同方案的效果。 在该项目中，我主要负责后端核心模块的
-
实时数据处理系统
我参与的百亿级数据量人员流动与实时预警大数据平台，是一个服务于公共安全与大型场所管理的综合性系统。平台核心目标是通过对海量实时轨迹与行为数据的处理，实现人流密度监控、异常聚集预警、个体实时定位及历史轨迹追溯，为指挥决策提供数据支撑。 在该平台中，我主要负责**实时计算引擎部分的
