项目名称：
梦想园离线数仓项目
项目时间：
2022.08-2022.12
项目架构：
Flume+HDFS+Hive+DataWarehouse+DataX+MySQL+SuperSet
项目描述：
该项目旨在构建一个用于梦想园游戏运营指标离线分析的解决方案，通过收集、处理和分析相关数据，帮助梦想园游戏运营团队深入了解游戏的运营状况，评估和优化游戏的用户体验、留存率和收入情况，以支持决策制定和优化策略。以下是项目的主要特点和目标：
1、 数据收集和整合：搭建数据抽取和收集系统，从游戏的各个数据源（包括用户行为数据、收入数据、游戏活动统计等）中提取数据，并将其整合到一个中心化的数据仓库中。
2、 数据预处理和清洗：设计并实施数据预处理和清洗流程，以确保数据的完整性、准确性和一致性。包括处理数据缺失、异常值和重复数据等，并进行数据格式转换和标准化，以便后续分析和建模。
3、 数据分析和指标计算：基于游戏的业务需求，开展数据分析和指标计算工作。对用户行为进行分析，评估用户留存率、用户付费习惯和收入情况，并计算关键的运营指标，如付费率、ARPU（每用户平均收入）等。
个人职责：
1、参与讨论离线数仓平台如何搭建，并提出问题，数据集成问题可能涉及数据格式不一致、字段映射、数据冲突等。解决方法包括使用合适的ETL工具，进行数据映射与转化，并对于敏感数据进行加密等，确保数据安全和准确。
2、负责Flume采集数据和DataX的数据同步工作，并合理处理Flume出现的小文件与数据倾斜问题，构建出ods层。
3、构建dwd层，根据业务需求抽取相应的维度来构建宽表，并处理好数据中缺失值、重复值、异常值等。
4、构建dws层，对数据进行轻量聚合，减少ads层的聚合压力。
5、构建ads层，Hive数据仓库里的数据进行用户留存率、付费率、ARPU（每用户平均收入）等指标的统计。
担任职务：
数据研发工程师

项目名称：
梦想园OLAP用户行为分析平台
项目时间：
2023.05-2023.10
项目架构：
实时数据流： Nginx+Lua+Kafka+Spark+Hudi+HDFS+Hive
项目描述：
游戏玩家的各种行为会产生大量的数据，这些数据可以帮助游戏商了解玩家的行为和需求，了解游戏运行的实时状况，应对突然出现的问题，通过玩家反馈的信息可以不断地矫正游戏中出现的问题，从而让游戏健康稳定的可持续运营。
该项目就是为游戏运营情况做多角度的指标分析，从而更好的为公司的游戏推广策略，精准营销，游戏玩家的体验优化，风险控制，游戏产品的研发等多方面提供数据反馈参考。
1、收集用户行为数据：在游戏开发阶段埋点，监听用户的操作，通过HTTP数据接口接收数据。使用Nginx作为HTTP的接口服务，通过openresty集成Nginx与Lua嵌入式脚本，使用Kafka对接数据。接着由Kafka推送到StructuredStreaming进行消费，划分Event数据和User数据，对数据进行清洗和效验后动态生成Schema，通过Hudi落地HDFS并映射到Hive表，Event进行分区处理，User表进行全量导入；
2、对于商品数据，也是通过埋点数据收集，之后通过Flume Sink到Hdfs；
3、对于业务数据（MySQL数据），分为两种情况，实时性要求高的通过Flink到Kafka，供下游系统消费。非实时性要求数据，直接通过DataX离线同步到HDFS。
项目中分析到的指标有日活跃用户数(分端，分服)，新增用户数，新增用户注册率，玩家留存率，玩家流失率，收入数据（收入金额，充值人数，收入地区分布等）。
个人职责：
1、负责Nginx+Lua发消息到Kafka的方案实现。
2、负责Flume采集数据和DataX的数据同步工作。
3、负责Structured Streaming 日志落地程序中动态Schema生成，从元数据中心拉取元数据生成Schema。
4、负责实时数据清洗与转换，如IP转换为地域（spark广播IP库，二分查找），业务规则过滤（版本号错误过滤，特定用户日志过滤等）。
担任职务：
数据研发工程师