参与公司微服务架构OA办公系统的核⼼基础设施搭建与后期运维保障⼯作,确保系统稳定⾼效运⾏。
K8s⽣产集群部署与利⽤Jenkins构建CI/CD⾃动化流⽔线,后期运维效率提升。处理过前端埋点捕获⽤⼾⾏为事件,Nginx反向代理拦截⽹⻚⽇志,Flume采集Nginx访问⽇志及业务系统⽇志,Kafka作为缓冲队列实现流量削峰,并再通Flume传输到HDFS。接着Hive构建分层数仓,统计结果存储⾄MySQL数据库。最后FineBI连接MySQL数据源,输出实时⼤屏
项⽬描述:实现教育离线数仓,功能包括对业务需求进⾏数据分析并⽣成报表。
项⽬架构:基于cloudera manager⼤数据统⼀管理平台, 在此平台之上构建⼤数据相关的软件
(zookeeper,HDFS,YARN,HIVE,OOZIE,SQOOP,HUE), 除此以外, 还使⽤FINEBI实现数据报表展⽰
个⼈⼯作:1. 参与数据清洗与转换,如将字符串⽇期转换时间戳。2. 对数据进⾏分析,如基于时间统计总咨询量。3. HIVE性能优化,如数据格式优化。