豹

爬虫工程师
大鹏教育 · 1年经验
豹
日薪: ¥500/8h
地点: 西安 全区
时间: 可工作日驻场(自由职业原因)
ID:301308 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Python MySQL Redis MongoDB PostgreSQL HTTP HTML JavaScript CSS
1.网络协议和HTML/CSS/JavaScript:熟悉HTTP协议、Web页面结构和样式表达语言,了解JavaScript语言,能够分析网页结构和数据,定位目标数据所在位置。
2.网络库:熟练使用Python的requests、urllib等网络库,能够发送HTTP请求、处理HTTP响应,模拟登录和使用代理等操作。
3.解析库:熟练使用Python的BeautifulSoup、lxml、pyquery等解析库,能够解析HTML/XML文档,提取目标数据,进行数据清洗和处理。
4.数据库:熟练使用关系型数据库(如MySQL、PostgreSQL)和非关系型数据库(如MongoDB、Redis),能够进行数据的增删改查、数据建模和优化等操作,以及对爬取的数据进行存储和分析。
5.并发编程:熟练使用Python的多线程、多进程、协程等并发编程技术,能够进行异步和并发操作,提高程序的性能和效率。
6.反爬虫机制和应对策略:熟悉常见的反爬虫机制(如验证码、IP封锁、User-Agent检测等),能够制定应对策略,绕过反爬虫机制,保证爬虫的稳定和可用性。
7.可视化和数据分析:熟悉Python的数据分析和可视化库(如Pandas、Matplotlib、Seaborn等),能够进行数据分析和可视化,为数据挖掘和业务分析提供支持。

1.招聘信息爬取和分析系统:该项目旨在爬取招聘网站的招聘信息,包括职位名称、薪资、公司名称等,以及对这些信息进行分析和可视化。我使用Python的requests、BeautifulSoup、pandas、matplotlib等库进行数据爬取、数据清洗、数据分析和可视化,将分析结果呈现给用户。
2.微博数据爬取和分析系统:该项目旨在爬取微博的用户信息、微博内容和评论等信息,并对这些数据进行分析和可视化。我使用Python的Selenium、BeautifulSoup、pandas、matplotlib等库爬取和分析数据,使用MySQL数据库存储数据,并使用Python的定时任务框架进行数据更新和分析结果呈现。
3.股票数据爬取和分析系统:该项目旨在爬取股票数据,包括股票名称、股票代码、交易数据等,以及对这些数据进行分析和可视化。我使用Python的tushare、pandas、matplotlib等库进行数据爬取、数据清洗、数据分析和可视化,将分析结果呈现给用户。
豹 ID:301308 复制

豹

爬虫工程师 · 1年经验 · 大鹏教育
城市西安 全区 日薪500元/8h 时间 可工作日驻场(自由职业原因)
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Python MySQL Redis MongoDB PostgreSQL HTTP HTML JavaScript CSS
1.网络协议和HTML/CSS/JavaScript:熟悉HTTP协议、Web页面结构和样式表达语言,了解JavaScript语言,能够分析网页结构和数据,定位目标数据所在位置。
2.网络库:熟练使用Python的requests、urllib等网络库,能够发送HTTP请求、处理HTTP响应,模拟登录和使用代理等操作。
3.解析库:熟练使用Python的BeautifulSoup、lxml、pyquery等解析库,能够解析HTML/XML文档,提取目标数据,进行数据清洗和处理。
4.数据库:熟练使用关系型数据库(如MySQL、PostgreSQL)和非关系型数据库(如MongoDB、Redis),能够进行数据的增删改查、数据建模和优化等操作,以及对爬取的数据进行存储和分析。
5.并发编程:熟练使用Python的多线程、多进程、协程等并发编程技术,能够进行异步和并发操作,提高程序的性能和效率。
6.反爬虫机制和应对策略:熟悉常见的反爬虫机制(如验证码、IP封锁、User-Agent检测等),能够制定应对策略,绕过反爬虫机制,保证爬虫的稳定和可用性。
7.可视化和数据分析:熟悉Python的数据分析和可视化库(如Pandas、Matplotlib、Seaborn等),能够进行数据分析和可视化,为数据挖掘和业务分析提供支持。

项目经验

1.招聘信息爬取和分析系统:该项目旨在爬取招聘网站的招聘信息,包括职位名称、薪资、公司名称等,以及对这些信息进行分析和可视化。我使用Python的requests、BeautifulSoup、pandas、matplotlib等库进行数据爬取、数据清洗、数据分析和可视化,将分析结果呈现给用户。
2.微博数据爬取和分析系统:该项目旨在爬取微博的用户信息、微博内容和评论等信息,并对这些数据进行分析和可视化。我使用Python的Selenium、BeautifulSoup、pandas、matplotlib等库爬取和分析数据,使用MySQL数据库存储数据,并使用Python的定时任务框架进行数据更新和分析结果呈现。
3.股票数据爬取和分析系统:该项目旨在爬取股票数据,包括股票名称、股票代码、交易数据等,以及对这些数据进行分析和可视化。我使用Python的tushare、pandas、matplotlib等库进行数据爬取、数据清洗、数据分析和可视化,将分析结果呈现给用户。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏