1.项目概述
技术栈:SpringCloud、RabbitMQ 、MySql 、mongoDb
该系统主要功能是实现个电商平台的数据自动爬取入库。主要分为客户端和服务器都是基于 SpringCloud 搭建,服务器通过管理页面对爬虫的爬取关键字、状态、是否开启爬取进行管理,服务器端开启对应客户端爬虫爬取后,客户端收到指令开启对应爬虫并把爬取到的数据存到 redis ,然后由入库服务进行数据校验和入库(mysql)
2.负责职能:
对系统的整体架构和数据库进行设计;
搭建系统框架并进行可行性测试;
整个系统的开发及数据库的搭建;
系统开发完成后的测试调试工作;
系统开发完成后部署到容器,并进行日常运行维护