Coke overlord
云原生运维工程师 · 1年经验 · 致远互联
0
累计接单
0
用户评价
0
被收藏
技术能力
参与公司微服务架构OA办公系统的核⼼基础设施搭建与后期运维保障⼯作，确保系统稳定⾼效运⾏。
K8s⽣产集群部署与利⽤Jenkins构建CI/CD⾃动化流⽔线，后期运维效率提升。处理过前端埋点捕获⽤⼾⾏为事件，Nginx反向代理拦截⽹⻚⽇志,Flume采集Nginx访问⽇志及业务系统⽇志，Kafka作为缓冲队列实现流量削峰,并再通Flume传输到HDFS。接着Hive构建分层数仓,统计结果存储⾄MySQL数据库。最后FineBI连接MySQL数据源，输出实时⼤屏
K8s⽣产集群部署与利⽤Jenkins构建CI/CD⾃动化流⽔线，后期运维效率提升。处理过前端埋点捕获⽤⼾⾏为事件，Nginx反向代理拦截⽹⻚⽇志,Flume采集Nginx访问⽇志及业务系统⽇志，Kafka作为缓冲队列实现流量削峰,并再通Flume传输到HDFS。接着Hive构建分层数仓,统计结果存储⾄MySQL数据库。最后FineBI连接MySQL数据源，输出实时⼤屏
项目经验
项⽬描述：实现教育离线数仓，功能包括对业务需求进⾏数据分析并⽣成报表。
项⽬架构：基于cloudera manager⼤数据统⼀管理平台, 在此平台之上构建⼤数据相关的软件
(zookeeper,HDFS,YARN,HIVE,OOZIE,SQOOP,HUE), 除此以外, 还使⽤FINEBI实现数据报表展⽰
个⼈⼯作：1. 参与数据清洗与转换,如将字符串⽇期转换时间戳。2. 对数据进⾏分析,如基于时间统计总咨询量。3. HIVE性能优化,如数据格式优化。
项⽬架构：基于cloudera manager⼤数据统⼀管理平台, 在此平台之上构建⼤数据相关的软件
(zookeeper,HDFS,YARN,HIVE,OOZIE,SQOOP,HUE), 除此以外, 还使⽤FINEBI实现数据报表展⽰
个⼈⼯作：1. 参与数据清洗与转换,如将字符串⽇期转换时间戳。2. 对数据进⾏分析,如基于时间统计总咨询量。3. HIVE性能优化,如数据格式优化。
立即沟通
