该项目开发工具使用的是VS2015,数据库使用有MySQL、Redis及SQLite、使用的框架有Layui+Mvc 该项目主要功能区域主要分为三块:数据采集、任务分配、数据详情整理、数据展示; 1、服务器上主要运行任务分配机、数据展示站点、MySQL数据库及Redis(用于存储大量临时产生的商品数据); 2、根据配置好的目标网址及对应爬取项Xpath,优先获取商品分类及最热搜索关键词清单,存至该项目主数据库MySQL中; 3、服务器本地以及局域网内各台电脑上的采集器启动后,会向Mysql数据库中生生记录 4、任务分配机,将以获取到的商品分类及关键词清单依次分配至给数据采集器清单中的
该项目开发工具使用的是VS2015,数据库使用有MySQL、Redis及SQLite、使用的框架有Layui+Mvc 该项目主要功能区域主要分为三块:数据采集、任务分配、数据详情整理、数据展示; 1、服务器上主要运行任务分配机、数据展示站点、MySQL数据库及Redis(用于存储大量临时产生的商品数据); 2、根据配置好的目标网址及对应爬取项Xpath,优先获取商品分类及最热搜索关键词清单,存至该项目主数据库MySQL中; 3、服务器本地以及局域网内各台电脑上的采集器启动后,会向Mysql数据库中生生记录 4、任务分配机,将以获取到的商品分类及关键词清单依次分配至给数据采集器清单中的...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人