___Martin丶屮
Python爬虫
中国采招网 · 2年经验
日薪：
￥1000/8h
地点：
北京 海淀
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.熟练掌握 Xpath，Re，Requests，Selenium，Scrapy 等爬虫基本
库和框架。
2.熟悉 Mysql，Redis 数据库
3.熟悉 Django 框架，能够做基本的网页搭建 。
4.熟悉验证码的破解，如四六位验证码、滑块验证码等。
5.熟悉常见的反爬措施，如字体加密，动态数据，登录验证等，
6.有大型网站爬取经验，
7.了解常见的安卓逆向，App 自动化框架。
库和框架。
2.熟悉 Mysql，Redis 数据库
3.熟悉 Django 框架，能够做基本的网页搭建 。
4.熟悉验证码的破解，如四六位验证码、滑块验证码等。
5.熟悉常见的反爬措施，如字体加密，动态数据，登录验证等，
6.有大型网站爬取经验，
7.了解常见的安卓逆向，App 自动化框架。
项目经验
航天电子采购平台
主要抓取网站中的招标采购信息，获取招标的时间，地址，招标要求，预算金额等信息。
1.前期的网站分析，明确爬取数据，设计爬虫模块，利用 XPath 提取技术进行数据
的提取
2.设计管道模块：对采集的 item 数据加入 MongoDB 数据库存储
3.中间件模块：针对反爬虫机制，通过设置 user-agent ，为爬虫添加 ip 代理池，设
置下载延迟等来应对
4.通过cookies进行模拟登录，获取网站数据
5.通过逆向获取post请求的动态数据，如时间戳，随机数，随机cookies等
6.采用多线程进行开发，有效提升爬取效率
主要抓取网站中的招标采购信息，获取招标的时间，地址，招标要求，预算金额等信息。
1.前期的网站分析，明确爬取数据，设计爬虫模块，利用 XPath 提取技术进行数据
的提取
2.设计管道模块：对采集的 item 数据加入 MongoDB 数据库存储
3.中间件模块：针对反爬虫机制，通过设置 user-agent ，为爬虫添加 ip 代理池，设
置下载延迟等来应对
4.通过cookies进行模拟登录，获取网站数据
5.通过逆向获取post请求的动态数据，如时间戳，随机数，随机cookies等
6.采用多线程进行开发，有效提升爬取效率
___Martin丶屮
Python爬虫 · 2年经验 · 中国采招网
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.熟练掌握 Xpath，Re，Requests，Selenium，Scrapy 等爬虫基本
库和框架。
2.熟悉 Mysql，Redis 数据库
3.熟悉 Django 框架，能够做基本的网页搭建 。
4.熟悉验证码的破解，如四六位验证码、滑块验证码等。
5.熟悉常见的反爬措施，如字体加密，动态数据，登录验证等，
6.有大型网站爬取经验，
7.了解常见的安卓逆向，App 自动化框架。
库和框架。
2.熟悉 Mysql，Redis 数据库
3.熟悉 Django 框架，能够做基本的网页搭建 。
4.熟悉验证码的破解，如四六位验证码、滑块验证码等。
5.熟悉常见的反爬措施，如字体加密，动态数据，登录验证等，
6.有大型网站爬取经验，
7.了解常见的安卓逆向，App 自动化框架。
项目经验
航天电子采购平台
主要抓取网站中的招标采购信息，获取招标的时间，地址，招标要求，预算金额等信息。
1.前期的网站分析，明确爬取数据，设计爬虫模块，利用 XPath 提取技术进行数据
的提取
2.设计管道模块：对采集的 item 数据加入 MongoDB 数据库存储
3.中间件模块：针对反爬虫机制，通过设置 user-agent ，为爬虫添加 ip 代理池，设
置下载延迟等来应对
4.通过cookies进行模拟登录，获取网站数据
5.通过逆向获取post请求的动态数据，如时间戳，随机数，随机cookies等
6.采用多线程进行开发，有效提升爬取效率
主要抓取网站中的招标采购信息，获取招标的时间，地址，招标要求，预算金额等信息。
1.前期的网站分析，明确爬取数据，设计爬虫模块，利用 XPath 提取技术进行数据
的提取
2.设计管道模块：对采集的 item 数据加入 MongoDB 数据库存储
3.中间件模块：针对反爬虫机制，通过设置 user-agent ，为爬虫添加 ip 代理池，设
置下载延迟等来应对
4.通过cookies进行模拟登录，获取网站数据
5.通过逆向获取post请求的动态数据，如时间戳，随机数，随机cookies等
6.采用多线程进行开发，有效提升爬取效率
立即沟通
