一、业务功能
1.平台im系统:
使用极光im,对接平台会员数据到极光im系统实现数据同步,开发平台聊天功能。
2.导单系统
负责同步各个平台(如淘宝、京东、拼多多)订单数据到爱客宝系统,实现对数据的格式化入库操作。
自动导入:
一套后台运行的程序,自动实时抓取各个平台订单数据到数据库。
手动导入:
专门为客服人员开发的手动操作桌面程序,可选择不同的平台、不同的时间段,进行手动导入订单。
技术分析:
后台自动抓取功能使用swoole框架开发,后来因平台引入联盟账号增加,为提高导单性能改用golang,利用golang高并发特点,使用goroutine并行处理多个账号任务。
后端程序用tp框架,用redis实现放并发处理,保证同一时间只处理同一订单。
订单入库后使用存入kafka,实现系统功能解耦,存入kafka 的订单数据被分佣系统、推送系统等功能模块消费使用。时监控kafka性能和消费者滞后情况。
桌面程序使用.net c#开发。
3.分佣系统
订单入库后对会员佣金分配,按照一定分配规则计算佣金,产生分佣明细。
技术分析:
数据库(mysql)分表技术,对会员的明细数据表每月进行拆分(每月数据量2-3千万条),通过处理逻辑确保明细唯一性。
数据同步技术,主要包括mysql到es的全量和增量同步技术。
es数据处理,包括统计及搜索,分片等。
4.api后端接口开发
后端系统按照功能划分,拆分会员、订单、接口等模块,各个模块会话保持,模块之间http协议调用。主要使用laravel框架,前期用tp框架。
二、运维工作
1.阿里云账号管理
熟练操作阿里ecs,mysql,polardb,slb,高防等阿里云产品。在阿里云层面添加资源监控包括但不限于磁盘、内存、cpu等。
2.gitlab搭建
搭建公司内部使用git服务器,制定开发人员git使用规范。
3.wiki搭建
搭建公司内部使用的文档管理服务wiki。
4.elk搭建
使用elk技术搭建系统层面的日志服务,收集nignx日志及系统运行日志。
5.依赖子系统搭建
lnmp运行环境、redis、mongdb、kafka、Elasticsearch等环境搭建
6.监控系统
监控方面使用的是听云免费版server监控系统,排查系统问题。