项目:数据平台
介绍: 利用大数据技术,实现数据采集、处理、存储、查询分析、可视化等,实现从业务中找数据,并让数据服务于业务。
技术难点/重点: 从0开始,在没有业务经验供参考的情况下,设计数据实时/离线处理方式、存储方式,并选择合适的技术实现。
实施过程:在技术选型上需考虑使用技术的成熟度、学习成本和维护成本。在流程上,确定数据与应用边界,明确数据出入口。同时,数据平台的测试上线流程也与业务系统存在一些不同,需进行不断磨合才能使得数据平台与业务系统互相配合。
完成状态: 已上线。完成流批一体的数据统一处理流程,实现了数据可视化、用户画像、推荐系统数据应用的落地,给运营人员提供200+业务分析指标。
项目:反欺诈系统
介绍:负责新决策引擎前期的需求明确、技术方案调研、架构设计等,负责部分模块开发和落地。
技术难点/重点:解决旧有反欺诈引擎在使用中遇到的技术痛点,更好的迎合业务需要。允许按业务需要动态切换运行引擎。新旧引擎同时运行,需考虑数据一致性问题。新旧引擎关联系统接入避免冲突;
实施过程: 新决策引擎在技术引用、服务拆解上按照新技术架构设计,并进行典型业务场景压测。新旧引擎数据以唯一标识(如交易流水号)进行关联,并以upert方式写入存储,避免数据冲突。利用spark等分析工具定时评估新旧引擎执行效果,并形成报告进行反馈
完成状态:目前已承接实际业务流量的50%,每日调用量上亿次,运行稳定
项目:快车项目
介绍:从零搭建并研发sass平台,负责主要业务实现和落地。为提高业务效率,从全国货运数据中提取信息并建模
技术难点/重点:服务器资源有限,全国货运实时数据量大且一直在产生,存储数据+查询挑战大
实施过程:分析数据特点,采用时序数据库存储,利用ssd资源并调优数据库配置。使用elasticsearch集群存储静态数据和模型
完成状态:目前已经具备服务客户能力,月流水近千万。车货匹配目前已成为部门重点项目
项目:在线教育app后端重构优化
介绍:针对老版app性能瓶颈、拓展差、代码风格不统一等问题,个人发起对老项目代码的重构以及新架构的搭建
技术难点/重点:所有业务都是放一个服务完成,导致后台项目太重, 需要进行模块拆分; 老项目各个业务模块高度耦合,拆分难度大,可拓展性差; 代码风格不统一, 需要进行统一的代码重构;
实施过程: 统一代码规范, 设计独立的基础服务如消息推送、订单支付、登录验证等; 将业务实现放到各个业务模块, 并单独部署spring-cloud服务; 添加服务降级、流量控制、服务熔断等机制提高服务的可用性
完成状态:新app后台上线, 全量替换老app后端业务,对部分瓶颈业务做到服务器线性扩容,对出现bug问题可日志追踪,整体服务质量得到很大提高。