从属公司:朋数科技
项目名称 :葫芦数据爬虫系统
项目时间:2018/5 - 2019/3
开发环境:Eclipse + JDK1.8 + git+ maven
软件架构:SpringBoot + SpringCloud+HttpClient + Redis + RabbitMQ + kafka+前端框架Vue +MongoDB + Mysql
项目简介:这是一套爬虫的系统,所抓取的数据是为互金提供有效的风控判断。项目采用目前比较主流的SpringBoot2 + SpringCloud2构建微服务爬虫项目,
将前端服务,中控服务,爬虫服务,解析服务,报告数据服务都在SpringCloudEureka里面注册,实现服务的治理,使用Feign来做RPC远程调用,使用Nginx实现Zuul的集群,Zuul网关框架统一管理微服务请求入口,负责权限控制,负载均衡等,使用Ribbon实现本地负载均衡,使用Hystrix服务保护框架(服务降级、隔离、熔断、限流),客户可以通过H5或者API或者SDK对接我们的服务,采集和获取数据的方式都是采用令牌的方式(CollectToken&AccessToken),一般会提供我们的两份数据,rawData和Report,这是我们主要的系统,为了这个系统的服务,我们相继开发了IP 服务,OP服务,dev服务等各类相关联的服务。
责任描述:1. 参与爬虫系统的设计与搭建,负责爬虫程序的流程控制与开发。
2. 负责确定中控、爬虫、解析交互方式
3.写出爬虫的Demo,确定爬虫与用户的基本交互Code
4.增加新的feature
从属公司:朋数科技
项目名称 :随时现金
项目时间:2017/2 - 2017/12
开发环境:Eclipse + JDK1.8 + git+ maven
软件架构:SpringBoot + SpringCloud+HttpClient + Redis +Rabbit MQ+Kafka+前端框架Vue +MongoDB + Mysql
项目简介:该项目为微服务的互金项目,采用目前比较主流的SpringBoot + SpringCloud构建微服务互金项目,使用SpringCloud中的Eureka作为注册中心,实现服务的治理。使用Zuul网关框架统一管理微服务请求的入口、使用Ribbon实现本地负载均衡和FeginHttp客户端调用工具。使用Hystrix服务保护框架(服务降级、隔离、熔断、限流)、使用消息总线Stream Rabbit MQ 和Kafka。使用CAS + JWT实现微服务单点登入。
项目统一使用分布式人物调度平台XXL-Job管理任务调度,使用分布式日志采集系统ELK+Kafka实现微服务统一日志管理。分布式事务解决方案LCN、分布式锁解决方案Zookeeper。使用分布式配置中心携程阿波罗、高并发分布式全局ID生成雪花算法。
责任描述:1. 实现会员模块(SSO单点登入、多端唯一登入、第三方QQ和微信联合登入)
2.商品搜索服务
项目名称:爬虫Op管理系统
从属公司:朋数科技
项目类型:基于Springboot项目
项目时间:2016/09-2017/3
开发环境:Eclipse + JDK1.7 + git+ maven
软件架构:SpringBoot + Redis + Nginx + ActiveMQ + 前端框架Vue +MongoDB + Mysql
项目简介:这是一个为了辅助爬虫的更加稳定的运行的一个运维系统,也是上面那个服务相关联的服务,里面集成了对爬虫插件的上下线操作、爬虫产品的切渠道操作、监控成功率-报警机制、生成报告、查看日志、猫池服务(管理我们sim卡)、统计成功率、以及出错原因的占比等一些列的操作,使我方运维人员能够更快的发现爬虫改版,从而进行调整
责任描述:
1. 表结构设计,页面模块设计,用户权限设计
2. 登入、实时错误统计、查看日志的开发
3. 切渠道、猫池服务、报告生成等功能的接口联调
4. 负责后期的编码维护和优化工作