奎

交易风控画像平台
我负责的任务描述：
1、参与画像平台技术选型，从 0 到 1 的平台落地，规划，从1到10的完善。
2、基于springboot完成画像平台流程落地，通过spark sql，计算用户行为特征，划分客群，通
过模型算法，完成用户基线统计，用户风险等级评估打分
3、持续优化，原项目用户行为特征存ES集群，重构为存储hbase，同步至clickhouse供前端查询
4、基于Neo4j构建风控知识图谱

交易风控数据开发
我负责的任务描述：
1、参与了项目技术选型，从 0 到 1 的平台建设，设计统一的ETL流程等等。
2、日常开发hive sql，spark sql，flink实时任务，spark离线任务，完成指标建设，风控画像
等
3、基于flink实时计算，完成准实时业务告警
4、多次完成对ES集群扩容，稳定性优化，查询性能提升建设，索引存储优化，多次对hadoop集
群，kafka集群做出优化，扩容，提升其稳定性，满足生产需要

数据资产盘点&血缘链路分析
我负责的任务描述：
1、参与了项目技术选型，从 0 到 1 的搭建，设计统一的资产采集报文等等。
2、对接相关部门做血缘资产采集，对接采集文档，按指定格式往我们部门的 kafka topic 上推
送消息，我们使用 flink 实时消费，做数据清洗，校验入库，存 es 等工作。我主要负责采集系
统，库，表，字段，任务等资产和血缘相关数据。
3、开发相关资产和血缘查询接口。
4、根据数据办提出的数据导出需求，开发相关 hive 任务，开发数据清洗，数据导出等等 spark
任务。
5、参与开发了资产交接功能。

元数据管理系统
我负责的任务描述：
1、根据数据办给出的规范和相关用户提出的需求开发相关功能。
2、对外提供公共接口。
3、开发相关的 java 任务，hive 任务，spark 任务，保证数据最终一致性。
4、Hive 表的生命周期建设。
5、Hive ranger权限改造。