阿白的案例列表
工业级大型爬虫框架开发（团队开发）
1.负责整体框架中的下载器的编写 2.参与整体框架的设计 3.负责下载配置数据库的设计 4.负责监控数据的进程 5.负责mongo的搭建和读写分离配置 6.负责pika主从搭建，及读写分离...
大量APP数据的抓取
项目名称：大量APP数据的抓取 应用技术： 1. redis实现任务的调度 2. 2.mysql数据的存储和表的设计 3. 使用fiddler试探app端的接口，使用postman工具模拟请求。 4.使用shell项目的自动化 项目职责： 1. 负责部分APP接口的试探和研究 2.负责设计并实现抓取APP数据的轻框架 3.使用shell监控异常处理异常 4.负责数据的清洗及入库...
