猿急送>

西安其它兼职程序员

ID：301308

豹

爬虫工程师

公司信息：
大鹏教育

工作经验：
1年

兼职日薪：
500元/8小时

兼职时间：
可工作日驻场（自由职业原因）

所在区域：
西安
全区

技术能力

1.网络协议和HTML/CSS/JavaScript：熟悉HTTP协议、Web页面结构和样式表达语言，了解JavaScript语言，能够分析网页结构和数据，定位目标数据所在位置。
2.网络库：熟练使用Python的requests、urllib等网络库，能够发送HTTP请求、处理HTTP响应，模拟登录和使用代理等操作。
3.解析库：熟练使用Python的BeautifulSoup、lxml、pyquery等解析库，能够解析HTML/XML文档，提取目标数据，进行数据清洗和处理。
4.数据库：熟练使用关系型数据库（如MySQL、PostgreSQL）和非关系型数据库（如MongoDB、Redis），能够进行数据的增删改查、数据建模和优化等操作，以及对爬取的数据进行存储和分析。
5.并发编程：熟练使用Python的多线程、多进程、协程等并发编程技术，能够进行异步和并发操作，提高程序的性能和效率。
6.反爬虫机制和应对策略：熟悉常见的反爬虫机制（如验证码、IP封锁、User-Agent检测等），能够制定应对策略，绕过反爬虫机制，保证爬虫的稳定和可用性。
7.可视化和数据分析：熟悉Python的数据分析和可视化库（如Pandas、Matplotlib、Seaborn等），能够进行数据分析和可视化，为数据挖掘和业务分析提供支持。

项目经验

1.招聘信息爬取和分析系统：该项目旨在爬取招聘网站的招聘信息，包括职位名称、薪资、公司名称等，以及对这些信息进行分析和可视化。我使用Python的requests、BeautifulSoup、pandas、matplotlib等库进行数据爬取、数据清洗、数据分析和可视化，将分析结果呈现给用户。
2.微博数据爬取和分析系统：该项目旨在爬取微博的用户信息、微博内容和评论等信息，并对这些数据进行分析和可视化。我使用Python的Selenium、BeautifulSoup、pandas、matplotlib等库爬取和分析数据，使用MySQL数据库存储数据，并使用Python的定时任务框架进行数据更新和分析结果呈现。
3.股票数据爬取和分析系统：该项目旨在爬取股票数据，包括股票名称、股票代码、交易数据等，以及对这些数据进行分析和可视化。我使用Python的tushare、pandas、matplotlib等库进行数据爬取、数据清洗、数据分析和可视化，将分析结果呈现给用户。

案例展示

12306自动购票

爬虫12306购票项目是一个基于Python的火车票订票系统。该项目通过模拟用户的行为，自动查询车票信息，实现了自动订票的功能，用户可以方便地使用该系统购买火车票。该项目的主要功能包括： 1.用户登录和验证码识别：模拟用户在12306网站登录，并自动识别验证码。
爬取豆瓣书籍信息

该项目是一个基于Python的网络爬虫应用，旨在获取豆瓣图书网站的图书信息，包括书名、作者、评分、出版社、价格等。该项目的主要功能包括： 1.网络请求：通过发送HTTP请求，获取豆瓣图书网站的HTML页面内容。 2.数据解析：使用Python的HTML解析库（