1.重构之前的老架构到springcloud
公司老的系统模块与模块之间使用http进行请求,与架构师一起将系统架构调整至springcloud架构,主要是负责其中一部分模块的代码修改,已适配最新的架构,调试hytrix,zipkin,使用zuul编写网关系统,主要是zuulfilter进行签名校验
2.广告系统,电商系统,大数据管控系统,运营系统
使用springcloud,mysql,redis,es,kafka,rabbitmq,mongodb等技术,分解需求/设计/开发公司主要产品线的需求
BI
责任描述:
①数据库管理与优化
②实时采集系统编写
③hadoop处理离线日志
项目简介:
第一阶段(2015年以前):系统数据量较小,在线人数为40万,每天产生离线日志2000万条,只使用oracle存储过程即可完成离线报表的计算。
第二阶段(2016.1-2016.3):在线人数增长至60万,每天产生3500万离线日志,使用oracle+mongodb协同来处理离线日志,期间管理过mongodb数据库3个月,后来废弃。
第三阶段(2016.3-2016.4):使用一个月时间,使用servlet+mybatis完成手机端后台部分的开发(30个接口)
第四阶段(2016.5-至今):在线人数增长至100万,数据库系统已经不堪重负,引入hadoop系统来处理离线日志,前期主要是编写mapreduce,后来因为工作量大,人手不足,遂采用hive;同时期间使用lvs+tomcat的高可用方案完成了采集系统采集数据到hbase数据库模块的编码。
第五阶段(2016.6-2016.12):使用flume+kafka+sparkstreaming采集实时数据,期间为提高性能修改了flume部分源代码,使用netty模拟接收http高并发请求,使用redis(前期使用集群,后期改为HA)缓存,完成采集系统的重构(原始为C++程序编写);期间使用mybatis+redis完成新版本BI后台部分架构,需求分解给组内成员。