阿白的案例列表
作者：阿白 · 共 2 个案例
工业级大型爬虫框架开发（团队开发）
1.负责整体框架中的下载器的编写 2.参与整体框架的设计 3.负责下载配置数据库的设计 4.负责监控数据的进程 5.负责mongo的搭建和读写分离配置 6.负责pika主从搭建，及读写分离
大量APP数据的抓取
项目名称：大量APP数据的抓取 应用技术： 1. redis实现任务的调度 2. 2.mysql数据的存储和表的设计 3. 使用fiddler试探app端的接口，使用postman工具模拟请求。 4.使用shell项目的自动化 项目职责： 1. 负责部分APP接口的试探和研究 2.负责设计并实现抓取APP数据的轻框架 3.使用shell监控异常处理异常 4.负责数据的清洗及入库
案例判断参考
阿白的案例列表
工业级大型爬虫框架开发（团队开发）
1.负责整体框架中的下载器的编写 2.参与整体框架的设计 3.负责下载配置数据库的设计 4.负责监控数据的进程 5.负责mongo的搭建和读写分离配置 6.负责pika主从搭建，及读写分离...
大量APP数据的抓取
项目名称：大量APP数据的抓取 应用技术： 1. redis实现任务的调度 2. 2.mysql数据的存储和表的设计 3. 使用fiddler试探app端的接口，使用postman工具模拟请求。 4.使用shell项目的自动化 项目职责： 1. 负责部分APP接口的试探和研究 2.负责设计并实现抓取APP数据的轻框架 3.使用shell监控异常处理异常 4.负责数据的清洗及入库...
