项目名称:标签集市
架 构 ：Hadoop+Hive+Shell+Spark
项目描述： 根据业务需求，对固网日志数据清洗，过滤，规范化，存储在数仓ods层，对数据依据业务进行主题划分，产出上
层需要的标签表。
项目流程：
一、数仓架构设计开发：
1、离线数据处理：
1、Hdfs用于数据存储，使用多副本机制存储数据
2、Yarn资源统一管理
3、Zookeeper实现集群高可用配置，主从节点配置
4、使用hive对hdfs中数据进行增删改查
5、Mapreduce作为核心计算引擎，用于每日批量计算
6、Linux中自带的crontab作为任务调度工具
二、项目职责：
1) 负责标签表开发以及上线
2) 负责流程监控，保证数据的及时性、完整性及正确性
3) 负责标签表上线对应文档编写
项目名称:资金流预警防范实验平台
架 构 ：Hadoop+Hive+Azkaban+Shell+Sqoop+Spark+Flink+Mysql+Kettle
项目描述：从0到1搭建离线、实时数仓，将各银行流水，全国案件数据，止付数据等数据源入库、清洗，上层根据公
安模型专家规则计算指标，通过算法训练模型，产出高风险疑似涉诈账户，精准推送给银行，以达到精准
布控效果。
项目流程：
一、数仓架构设计开发：
1、离线数据处理：
1、Hdfs用于数据存储，使用多副本机制存储数据
2、Yarn资源统一管理
3、Zookeeper实现集群高可用配置，主从节点配置
4、使用hive对hdfs中数据进行增删改查
5、Mysql存储hive数据库表的元数据
6、Spark作为核心计算引擎，用于每日批量计算
7、Azkaban作为任务调度工具
8、Atlas对元数据治理
2、实时数据处理：
1、Kafka作为主要消息中间件，从上游接受数据并传输到下游。
2、Flink用于实时计算引擎，高效率的处理实时数据，并将处理好
的数据输出到数据库或生成文件。
3、Mysql前端数据库，存储结果报表数据。
二、数据处理：
1、离线数据处理：
1) 文件格式统一（csv格式，编码utf-8）
2) 统一数据类型，统一空值和特殊字段异常值，去除脏数据，
统一特殊字段值
3) 时间格式统一（yyyy-MM-dd HH:mm:ss）
4) 去除重复数据
2、实时数据处理：
1) 实时解析文件到kafka。
2) Flink对kafka数据清洗过滤，维度打平，将清洗后的明细数据
存储在kafka。
3) Flink将明细数据加工处理成中间表，存储在kafka，根据需求
对中间表聚合，产生可视化报表落入mysql用于大屏展示。
三、数仓基本构成：
ADS层：以 DWD 层和 DWS 层数据为基础,根据业务需求生成指标表。
DWS层：根据模型指标特点构建相应核心事实表，高复用性计算模型指标报表。
DIM层：存放各层计算时所需的维表。
DWD层: 数据经过预处理，进行了增量合并，字段选择，相同类型数据汇集到一张表，形成明细的宽表并且保持与ODS
层数据相同粒度。
ODS层：保证数据的一致性和可追溯性。
四、项目职责：
1、参与项目架构设计，技术组件选型
2、负责日常运维，资源分配及故障修复
3、负责日常报表开发，模型指标开发，日常临时提数需求
4、实时可视化数据大屏开发
项目名称:流式数据处理系统（离线）
架 构 ：Flume+HDFS+Hive+Dolphinscheduler+Atlas+Shell+Spark-Core+SparkSQL+Flink
项目描述：采集、梳理 app 用户的行为日志数据,进行过滤,解析,集成并入库,按照业务需求不同划分主题,并在不同
的维度上挖掘用户的行为轨迹,分析用户的访问情况,留存情况和事件归因分析，分析用户消费水平、访问
习惯，为公司的各类报表统计做数据支持。
项目流程：
一、数据采集模块：
1、行为日志采集系统设计开发：
1) 使用flume，组建级联数据传输网络。
2) 利用taildir、filechannel、failover sink processor等组件实现高可用和负载均衡。
3) 自定义拦截器实现数据脱敏。
4) 自定义拦截器解决数据延迟上报问题。
5) 实现了日志数据采集自动化质量检测。
2、行为日志数据采集流程：
用户通过点击触发前端埋点代码，从而产生用户行为日志，通过我们的日志采集系统将数据采集到hdfs。
二、数据预处理：
1、数据清洗过滤：规范化数据，去除脏数据。
2、数据json打平，数据存储成orc格式。
3、session切割：根据用户的启动事件、退出事件、间隔时