豆腐混世大魔王

python高级爬虫
蓝因子 · 1年经验
豆腐混世大魔王
日薪: ¥500/8h
地点: 乌鲁木齐 全区
时间: 下班后周六周日可工作日远程
ID:408786 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Python Selenium MySQL MongoDB CSS 分布式 Redis
精通Python编程语言,熟练运用Scrapy、BeautifulSoup、Selenium等爬虫框架与库,能够针对不同类型网站(静态页面、动态渲染页面、反爬机制网站)制定对应的爬取策略。熟悉IP代理池搭建、Cookie池维护、请求头伪装等反反爬技术,可高效突破网站的反爬限制。掌握正则表达式、XPath、CSS选择器进行数据解析,能将爬取的非结构化数据清洗、整理为结构化数据并存储至MySQL、MongoDB、CSV等介质中。同时了解分布式爬虫架构,可基于Scrapy-Redis实现大规模数据的分布式爬取,保障数据获取的效率与稳定性,还能根据业务需求对爬取的数据进行初步的统计分析与可视化处理。

负责电商平台商品数据爬取项目:针对某知名电商平台的商品信息、价格、评论等数据进行爬取,使用Scrapy框架搭建爬虫,结合Selenium处理动态加载的商品详情页。对爬取的数据进行清洗去重后,存储至MongoDB数据库,并利用Pandas进行价格趋势分析和评论情感分析,形成可视化分析报告,为客户的市场调研提供了数据支撑,项目交付后客户反馈数据准确率达98%以上。
豆腐混世大魔王 ID:408786 复制

豆腐混世大魔王

python高级爬虫 · 1年经验 · 蓝因子
城市乌鲁木齐 全区 日薪500元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Python Selenium MySQL MongoDB CSS 分布式 Redis
精通Python编程语言,熟练运用Scrapy、BeautifulSoup、Selenium等爬虫框架与库,能够针对不同类型网站(静态页面、动态渲染页面、反爬机制网站)制定对应的爬取策略。熟悉IP代理池搭建、Cookie池维护、请求头伪装等反反爬技术,可高效突破网站的反爬限制。掌握正则表达式、XPath、CSS选择器进行数据解析,能将爬取的非结构化数据清洗、整理为结构化数据并存储至MySQL、MongoDB、CSV等介质中。同时了解分布式爬虫架构,可基于Scrapy-Redis实现大规模数据的分布式爬取,保障数据获取的效率与稳定性,还能根据业务需求对爬取的数据进行初步的统计分析与可视化处理。

项目经验

负责电商平台商品数据爬取项目:针对某知名电商平台的商品信息、价格、评论等数据进行爬取,使用Scrapy框架搭建爬虫,结合Selenium处理动态加载的商品详情页。对爬取的数据进行清洗去重后,存储至MongoDB数据库,并利用Pandas进行价格趋势分析和评论情感分析,形成可视化分析报告,为客户的市场调研提供了数据支撑,项目交付后客户反馈数据准确率达98%以上。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏