核心技术栈涉及 Spark、Flink、Hive、Doris、Hadoop、SeaTunnel、DolphinScheduler , PowerBI等大数据生态组件,并积极引入 Dify、n8n 等工具提升自动化水平。
离线数据流向: 爬虫->kafka->flume->hdfs->分层数仓->doris/mysql->SAAS产品
实时数据流向: 日志->filebeat->kafka->flink->doris->可视化大盘
1.主导数据中台与分层数仓建设: 独立负责国内电商平台与线下支付业务线的数据平台搭建。从零开始完成数据仓库的架构设计与落地,构建了清晰、稳定的分层数据模型。通过整合与处理多源异构数据,建立了高效、自动化的数据加工流程,显著提升了数据产出的时效性与准确性,有力支撑了业务部门对数据质量和可靠性的核心需求。
2. 实现SaaS产品数据监控与洞察: 设计并实施了公司SaaS产品客户使用情况的实时监控系统。通过该系统持续为公司输出产品状态数据与用户行为洞察,为产品迭代、功能优化与体验升级提供了关键的数据决策依据。
3. 推动AI大模型在数据领域的应用: 积极探索并落地AI大模型技术,成功应用Text2SQL解决方案。该应用为内部数据分析师及客户经理提供了智能化的数据服务,大幅降低了数据使用门槛,提升了全员数据化运营的效率。