BlacK.

网络爬虫

无 · 1年经验

日薪：￥500/8h

地点：其他全区

时间：可工作日驻场（自由职业原因）

ID:298406 复制

信用行为

接单数

评价数

收藏数

技术能力

AI 技能提取 | Python 分布式 MySQL Redis MongoDB

Python中8种数据类型的精通使用；Python匿名函数、列表推导式、装饰器的熟练使用；Python中re、requests、beautifulSoup等库的熟练使用；Python爬虫框架Scrapy的熟练使用；Python爬虫伪装中代理IP、UserAgent的熟练使用；Python与scrapyt-redis分布式爬虫的基本使用；Python操作Mysql数据库增删改查；Python操作MongoDB数据库增删改查；Python建立数据库连接池提高效率

项目经验

项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取豆瓣top250，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。