顺丰大数据平台报表系统:根据顺丰重货业务需求,负责在大数据平台进行数据分析,数据抽取,报表平台展示。
项目主要是在基于hadoop集群平台上,对各数据源数据进行数据分析,处理,呈现。
基于hdfs作为数据存储,采用hive语言编写数据操作脚本,通过sqoop进行数据接入和抽取,java开发报表系统作为数据显示。
BMS结算管理系统该项目主要服务于杭州中通云仓科技费用结算,主要包括计费引擎费用计算,
应收应付费用账单管理、应收付发票管理、收付款核销预估、 分摊等全流程的结算以及核算分析统计功能。
该系统通过kafka接收中通大数据平台推送得单据信息,基于中通的1个月1000万的业务量,采用Mysql作为数据存储,sharding-jdbc按仓库维度进行分库分表,
按客户要求进行性能优化,支持100W数据量账单20个并发导出下平均耗时3分钟,采用两个线程一个负责sql读取数据到ArrayBlockingQueue,
一个线程负责从ArrayBlockingQueue做io excel写入,
采用jdbc预编译单次读取1万条,sql分页优化,经过使用jmeter模拟20个请求并发下载压测,最终完成客户目标。在采用docker部署6台服务器,项目采用dubbo+zookeeper服务化架构。
为中通客户带来高效,便捷的结算作业。