ID:422261

Python爬虫工程师

  • 公司信息:
  • 个人独立开发者
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 合肥
  • 全区

技术能力

熟练使用Python语言开发,专注网络爬虫与数据采集,精通异步爬虫开发,处理无限分页、尾页判断,完成过抓取456条数据的实战项目。熟悉MySQL数据库,能做数据清洗、入库与去重,掌握Selenium工具处理动态渲染网页,具备异常捕获、重试能力,解决超时、元素定位报错等问题。了解UA随机池、简易代理IP配置,提升爬虫稳定性,可独立完成从需求分析到数据交付的全流程爬虫项目,适配网页数据抓取、批量信息提取需求。

项目经验

项目标题异步网页数据采集工具开发,项目周期三个月,独立负责全流程开发。基于Python语言搭建异步爬虫框架,针对多类目标网站设计抓取逻辑,重点解决无限分页自动翻页、尾页精准识别的核心问题,避免无效抓取。实践中累计获取456条高质量结构化数据,通过MySQL数据库完成数据清洗、批量入库与去重处理,杜绝重复数据。添加完整的异常捕获和重试机制,解决元素定位失败、请求超时等常见报错,搭配Selenium工具处理动态渲染的网页内容,突破基础反爬限制。最终将采集数据导出为Excel表格,方便直接使用,项目上线后运行稳定,数据准确率达98%以上,达标率符合预期需求。

案例展示

  • 天气数据异步爬取

    天气数据异步爬取

    独立开发Python天气数据爬虫,使用Selenium处理动态加载的天气网页,设置异步抓取逻辑实现多城市天气信息批量采集,包含温度、湿度、空气质量等10类核心数据。添加异常重试机制解决页面加载超时问题,通过MySQL完成数据去重与入库,最终导出标准化数据表格,可直接用于天气分析、

  • 动漫数据异步爬取

    动漫数据异步爬取

    动漫名称异步爬虫项目,独立开发完成,用Python构建异步抓取逻辑,解决网站无限分页翻页和尾页判断问题,精准采集动漫名称数据。共获取456条有效动漫名称,通过MySQL入库去重,剔除重复名称,添加异常重试机制处理页面超时报错,用Selenium加载动态页面,最终导出清晰的名称列表

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服