这人好啊
爬虫工程师
无 · 1年经验
日薪：
￥500/8h
地点：
北京 海淀
时间：
可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 熟练使用 Python 语言和常见的第三方库；有良好的代码风格及编程能力
2. 熟悉使用正则表达式、Xpath 和 BeautifulSoup 等相关网页提取技术
3. 熟悉 Scrapy 框架的使用，同时有过 Scrapy-redis 分布式爬虫经验
4. 熟悉 Fiddler、AirtextIDE 等 app 爬虫工具
5. 熟悉 MySQL、redis 等数据库
6. .熟悉常见的反爬机制，如验证码识别、IP 封禁、UA 监测和 cookie 认证等；了解加密数据的处理
7. 了解 web 框架 Django 和 Flask
8. 了解多进程多线程和协程的相关使用
9. 了解代码管理工具 git
10. 了解多进程多线程和协程的相关使用
11. 了解前端 HTML，CSS，JS，AJAX 等相关前端知识
12. 了解 Linux 操作系统，熟悉其基本操作
13. 了解数据清洗，能够使用 NumPy、Pandas 等工具进行数据处理
2. 熟悉使用正则表达式、Xpath 和 BeautifulSoup 等相关网页提取技术
3. 熟悉 Scrapy 框架的使用，同时有过 Scrapy-redis 分布式爬虫经验
4. 熟悉 Fiddler、AirtextIDE 等 app 爬虫工具
5. 熟悉 MySQL、redis 等数据库
6. .熟悉常见的反爬机制，如验证码识别、IP 封禁、UA 监测和 cookie 认证等；了解加密数据的处理
7. 了解 web 框架 Django 和 Flask
8. 了解多进程多线程和协程的相关使用
9. 了解代码管理工具 git
10. 了解多进程多线程和协程的相关使用
11. 了解前端 HTML，CSS，JS，AJAX 等相关前端知识
12. 了解 Linux 操作系统，熟悉其基本操作
13. 了解数据清洗，能够使用 NumPy、Pandas 等工具进行数据处理
项目经验
航空机票信息查询
项目描述：
应客户需求,对某国外航空公司网站进行机票信息爬取，然后把数据交给用户，供用户平台使用。
责任描述：
使用 Scrapy 框架，主要进行页面分析、 数据采集、数据清洗、数据保存等处理
1. 登录验证码的处理-该网站验证码比较简单，采用 Scrapy 自带的验证码处理模块
2. 由于只能使用国外 IP，使用代理 IP，并添加 user-agent 和延时规避反爬
3. 使用 Xpath、正则和 lxml 的 etree 模块进行页面解析与数据提取
4. 使用 Mongodb 数据库保存爬取数据
项目描述：
应客户需求,对某国外航空公司网站进行机票信息爬取，然后把数据交给用户，供用户平台使用。
责任描述：
使用 Scrapy 框架，主要进行页面分析、 数据采集、数据清洗、数据保存等处理
1. 登录验证码的处理-该网站验证码比较简单，采用 Scrapy 自带的验证码处理模块
2. 由于只能使用国外 IP，使用代理 IP，并添加 user-agent 和延时规避反爬
3. 使用 Xpath、正则和 lxml 的 etree 模块进行页面解析与数据提取
4. 使用 Mongodb 数据库保存爬取数据
这人好啊
爬虫工程师 · 1年经验 · 无
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 熟练使用 Python 语言和常见的第三方库；有良好的代码风格及编程能力
2. 熟悉使用正则表达式、Xpath 和 BeautifulSoup 等相关网页提取技术
3. 熟悉 Scrapy 框架的使用，同时有过 Scrapy-redis 分布式爬虫经验
4. 熟悉 Fiddler、AirtextIDE 等 app 爬虫工具
5. 熟悉 MySQL、redis 等数据库
6. .熟悉常见的反爬机制，如验证码识别、IP 封禁、UA 监测和 cookie 认证等；了解加密数据的处理
7. 了解 web 框架 Django 和 Flask
8. 了解多进程多线程和协程的相关使用
9. 了解代码管理工具 git
10. 了解多进程多线程和协程的相关使用
11. 了解前端 HTML，CSS，JS，AJAX 等相关前端知识
12. 了解 Linux 操作系统，熟悉其基本操作
13. 了解数据清洗，能够使用 NumPy、Pandas 等工具进行数据处理
2. 熟悉使用正则表达式、Xpath 和 BeautifulSoup 等相关网页提取技术
3. 熟悉 Scrapy 框架的使用，同时有过 Scrapy-redis 分布式爬虫经验
4. 熟悉 Fiddler、AirtextIDE 等 app 爬虫工具
5. 熟悉 MySQL、redis 等数据库
6. .熟悉常见的反爬机制，如验证码识别、IP 封禁、UA 监测和 cookie 认证等；了解加密数据的处理
7. 了解 web 框架 Django 和 Flask
8. 了解多进程多线程和协程的相关使用
9. 了解代码管理工具 git
10. 了解多进程多线程和协程的相关使用
11. 了解前端 HTML，CSS，JS，AJAX 等相关前端知识
12. 了解 Linux 操作系统，熟悉其基本操作
13. 了解数据清洗，能够使用 NumPy、Pandas 等工具进行数据处理
项目经验
航空机票信息查询
项目描述：
应客户需求,对某国外航空公司网站进行机票信息爬取，然后把数据交给用户，供用户平台使用。
责任描述：
使用 Scrapy 框架，主要进行页面分析、 数据采集、数据清洗、数据保存等处理
1. 登录验证码的处理-该网站验证码比较简单，采用 Scrapy 自带的验证码处理模块
2. 由于只能使用国外 IP，使用代理 IP，并添加 user-agent 和延时规避反爬
3. 使用 Xpath、正则和 lxml 的 etree 模块进行页面解析与数据提取
4. 使用 Mongodb 数据库保存爬取数据
项目描述：
应客户需求,对某国外航空公司网站进行机票信息爬取，然后把数据交给用户，供用户平台使用。
责任描述：
使用 Scrapy 框架，主要进行页面分析、 数据采集、数据清洗、数据保存等处理
1. 登录验证码的处理-该网站验证码比较简单，采用 Scrapy 自带的验证码处理模块
2. 由于只能使用国外 IP，使用代理 IP，并添加 user-agent 和延时规避反爬
3. 使用 Xpath、正则和 lxml 的 etree 模块进行页面解析与数据提取
4. 使用 Mongodb 数据库保存爬取数据
立即沟通
