数据报表系统
2015年开始负责点睛平台数据报表系统,点睛报表主要存储广告主每日投放广告
后所生产的展现、点击和消费数据。接手后主动推动报表服务的优化。架构设计
了新的报表服务,语言选型Golang,独立完成框架开发,业务上开发维护三十多
维度报表(搜索类、DSP类和搜索词)。报表每日数据增量2亿+。数据的生产和
近期消费数据存储于MySQL支持接口实时查询,离线消费数据存储Hive,全量排
序十六维度报表数据存储说Druid(OLAP)中。
一、选择Golang开发报表服务,独立完成整个框架的开发工作。生产速度提升十倍以上,减少二、主动推进项目调研工作,针对业务特性结合系统部提供的Kylin和Durid OLAP服务进行调三、构建独立的数据仓库,用于报表的生产,业务的对接等工作。
四、QBus(Kafka)收集消费生产寻客平台报表数据。
批量上传服务
2013年至2014年中旬负责点睛平台投放业务开发和批量工具服务开发工作。独立
完成了批量工具(批量上传、批量下载、批量修改、批量拓词)的架构设计和开
发维护工作。并申请了著作权和两项技术专利。
批量上传系统由:批量拆分、批量处理和报表合并组成。线上多机并行。批量的任务元存储于URL检测服务
2014年至2015年主要负责URL检测系统的开发工作。服务主要工作是检测URL连
通性和恶意性检测系统。URL检测系统由任务分配器(Golang)、基于Storm的
Java爬虫、PHP爬虫组成和回调服务组成。该项目申请两项技术专利。