ID:394010

摩天

后端工程师

  • 公司信息:
  • 工作经验:
  • 3年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 周六
  • 周日
  • 所在区域:
  • 上海
  • 闸北

技术能力

精通 Python,熟悉面向对象编程思想,能够独立完成复杂的项目开发。熟悉playwright的使用与应用,使用 Python 的 Scrapy 框架搭建爬虫系统,结合多线程技术,大幅提高数据采集效率。针对不同网站的结构特点,开发定制化的解析规则,实现对新闻标题、正文、发布时间等关键信息的精准提取。

项目经验

大型电商数据抓取:负责构建数据采集系统,使用 Scrapy 框架、Request 库与 Playwright,对多个电商平台进行数据抓取。通过优化数据抓取策略,解决了反爬虫机制限制,将数据采集效率提升 40%。实现对商品详情、价格、评论等关键数据的精准采集,日均采集数据量超 10 万条。​
社交媒体舆情监测:基于多线程技术开发爬虫程序,对社交媒体平台进行信息采集,实时监测舆情动态。使用代理池和随机 User - Agent 技术,绕过平台封禁机制,保障采集任务的稳定性。收集的数据为公司品牌公关决策提供有力支持。

案例展示

  • playwright抓取淘宝数据

    playwright抓取淘宝数据

    负责构建数据采集系统,使用 Scrapy 框架、Request 库与 Playwright,对多个电商平台进行数据抓取。通过优化数据抓取策略,解决了反爬虫机制限制,将数据采集效率提升 40%。实现对商品详情、价格、评论等关键数据的精准采集,日均采集数据量超 10 万条。

  • scrapy爬取豆瓣

    scrapy爬取豆瓣

    负责构建数据采集系统,使用 Scrapy 框架、Request 库与 Playwright,对多个电商平台进行数据抓取。通过优化数据抓取策略,解决了反爬虫机制限制,将数据采集效率提升 40%。实现对商品详情、价格、评论等关键数据的精准采集,日均采集数据量超 10 万条。

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服