工业级大型爬虫框架开发(团队开发)

教育-K12教育 阿白

1.负责整体框架中的下载器的编写 2.参与整体框架的设计 3.负责下载配置数据库的设计 4.负责监控数据的进程 5.负责mongo的搭建和读写分离配置 6.负责pika主从搭建,及读写分离...

工业级大型爬虫框架开发(团队开发)
工业级大型爬虫框架开发(团队开发)

大量APP数据的抓取

教育-K12教育 阿白

项目名称:大量APP数据的抓取 应用技术: 1. redis实现任务的调度 2. 2.mysql数据的存储和表的设计 3. 使用fiddler试探app端的接口,使用postman工具模拟请求。 4.使用shell项目的自动化 项目职责: 1. 负责部分APP接口的试探和研究 2.负责设计并实现抓取APP数据的轻框架 3.使用shell监控异常处理异常 4.负责数据的清洗及入库...

大量APP数据的抓取
大量APP数据的抓取
------ 加载完毕 ------
联系需求方端客服