网点财务系统
项目描述:网点财务系统是中通快递全面富含网点所有账单费用,每天有超过千万级的快递账单,同时每天的在线运输快递已经超过亿件。
涉及技术:Spirngcloud、 Dubbo、MyBatis、Redis、MySQL、RocketMQ、ELK等
设计技术:
1、采用分布式的项目开发模式整个项目分为:综合管理、用户、网点用户、
统计、账单报表、ELK等多个服务。
2、基于RocketMQ支持消息事务这一特点,在项目开发过程中使用这一特点,采用最大努力通知的 分布式事务解决方案去处理分布式事务场景。
3、通过hive调度获取账单流水、binlog监听账单变化,mq消费并汇总数据
4、对数据量较大的表使用Sharding-JDBC数据库中间件在主从同步,从同步的基础上实现了分库 分表,读写分离。
5、采用Elasticsearch , Logstash, Kibana这套经典组合,实现了数据库数据同步Es大幅提升了高 并发场景的搜索效率,并采用ik中文分词器强化了分词搜索的功能,线上错误日志收集,提升开发 人员线上问题的错误日志定位效率,并且在组合上加入了阿里开发框架Canal在数据同步效率上也 有了很大的提升。