离线项目职责:
1.参与数据仓库的搭建,明确数据域,包括用户域,流量域,交易域等主题域,参与设计DWD,DWS,ADS层
2.设计全局唯一用户标识 UUID 以及用户拉链表,解决多端用户数据关联问题,用户行为分析准确率提升40%
3.完成用户主题相关指标,日活,周活,月活,每日新增用户,用户留存,连续登录等
4.搭建 FLume双层高可用架构,通过主链路容灾机制解决数据采集零点漂移问题,数据丢失率降低85%
5.数据ODS层到DWD层的ETL清洗过程,包括对数据清洗过滤,数据规范化处理,Sesion分割,地理位置转换,全局唯一用户标识,标记新
老用户等处理
6.使用DolpinScheduler对数据处理任务进行调度,确保任务按时执行
7.统计平台各个店铺的流量指标:PVUVIP数用户访问次数跳出次数用户访问时长
8.助农商品的指标计算:县域助农商品占比(月度),助农商品动销率(周维度),助农商品复购率(季度),助农商品用户转化率(周维
度)
实时项目职责:
1.参与实时数仓(Kafka+FLink+ClickHouse),
2.基于FLink DataStream API开发实时ETL作业,解决因网络抖动导致的行为日志乱序问题
3.开发实时商品热度排名系统(FLink+Redis Zincrby),实现热门商品毫秒级更新,推动周均销售额提升15%
4.计算各个端各个渠道的用户访问量(频道热点
5.设计FLink CDC同步方案(MySQl->Kafka),通过Exactly-Once语义保障端到端数据一致性,同步延迟控制在1秒内,优化Kafka分区
策略,结合业务场景动态调整分区数
6.分析关键销售指标,如实时销售额,实时订单数和实时客单价,帮助运营人员及时掌握业务动态,做出快速决策