项目:印尼现金贷业务
简介:印尼现金贷业务。用户从app下单,通过第三方对用户放款, 生成账单。用户通过生成va码, 对账单进行还款。
技术:SpringBoot + Dubbo + MyBatis + MySQL + Mongo + Kafka + Maven + Jenkins
职责:财务系统的日常维护以及新需求的开发与更进。
1) 对账单, 财务, app后端及第三方系统进行开发与维护
2) 对帐功能设计与实现, 逾期减免优惠卷
项目:Thirdparty Platform / 三方接入平台
简介:对于需要和第三方服务进行对接的模块,都集中在这个项目,以屏蔽差异,向内提供一致的接口。
技术:SpringBoot + Dubbo + Mongo + Kafka + Maven + Jenkins + Kubernetes
职责:接入爬虫服务,客服聊天系统。
1) 爬虫,解析爬虫服务请求,规则化消息并异步化到 Kafka,清洗后,存入 MongoDB 并向外提供查询服务
2) 客服,集成第三方客服系统,提供给手机APP使用,并保证会话安全和稳定
项目:SEA Crawler / 东南亚爬虫项目
简介:分布式爬虫系统,根据客户授权,通过⽹网络爬虫,收集客户在相关电商、票务、社交⽹网站的⽤用户信息,以便便综合评定客户信⽤。
技术:Python + MySQL + Mongo + Redis + Kafka + ELK + Relic + Prometheus
职责:带领团队,从零到一,设计和实现整个分布式爬⾍虫系统。
1) 抽象并实现爬虫整体框架,包括 Verify 授权模块,Crawl 爬取模块,Retry 重试模块
2) 爬虫服务支撑子系统,包括 Dashboard,代理池 Proxy Pool
3) 基于 Mongo 和 MySQL 的数据清洗和存储子系统