项目： 用户上网日志留存系统
技术框架: HDFS，Elasticsearch，Postgresql等
项目描述： 公司产品硬件流量采集服务器，部署在运营商数据中心，采集WLAN用户和家庭宽带用户得上网日志。日志进行字段匹配合成，合成后上报运营商。提供根据源IP，宽带账号等日志查询服务。同一个项目多个省份运营商环境部署。
负责模块： 1查询模块，合成后的数据按照时间目录存储到hdfs，根据源ip时间等字段生成结构化索引存储到Elasticsearch，根据索引查询hdfs指定文件，读取并展示到web页面/发送ftp到指定地址。
2 数据源检验，通过mapreduce作业直接查询未合成的数据源，检验数据合成是否有缺失，数据索引是否正确。
3 接收模块，Java-inotify实现对ftp目录的监控，ftp接收数据上传到hdfs，生成接收文件清单写入数据库，对接收数据量统计。
4 告警模块，接收文件过小，接收服务器上报延迟，合成延时，合成率过低等告警的生成，并发送邮件，生成周期告警周报。
5 第三方对接，4A安全管理平台对接，身份认证，操作审计等
6 版本升级 兼容ipv4和ipv6两种话单的合成查询告警等

项目： 数据巡检系统
技术框架: Flume，Postgresql等
项目描述： 监控数据采集，数据裁剪，数据储即由硬件原始日志报文到可用日志流程是否有数据丢失，监控数据探针，服务器状态，及软件进程，Flume日志生成以及收集，自动安装和一键部署监控开发。
负责模块： 1 中间表设计与生成，为了提高查询效率，周期执行多个维度数据函数。
2 python开发告警模块，sql长时间执行，死锁等告警生成上报。
3 数据准确性核查，软件接收到的日志，由于非对称路由等原因导致的，日志无法合成。
4 网元质量核查，利用中间表以ip为最小力度汇聚机房出口链路等维度数据，以及数量峰值均值历史等统计。
5 一键部署脚本，兼容不同环境由一台机器下发的多级部署。
6 对接Cloudera Manager接口扩展一些服务器状态接口，历史趋势等图表接口

项目： 家集客项目
技术框架: Kafka，greenplum等
项目描述： 根据采集到的数据，在用户，ONU（网元），OLT（光线路终端）等维度监控运营商网络情况，绘制峰值和历史曲线，监控网络质量进行反馈。硬件采集DPI数据，通过脚本写入 Greenplum集群数据库，数据维度按照时间维度（小时表，天表）和资源维度进行分表，数据入集群监控，数据可视化展示。
负责模块： 1 公共部分跨多表查询的逻辑编写
2 sql复杂度的转移，通过js对象的填充转化成对应sql语句 。
3 首页，单用户溯源，告警模块，告警阈值配置模块等模块的开发。