洛阳城
爬虫
公益志愿联合会 · 1年经验
日薪：
￥500/8h
地点：
北京 海淀
时间：
下班后周六周日可工作日驻场（离职原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
精通 Python 爬虫全栈技术，熟练掌握 requests、BeautifulSoup、Scrapy 等主流框架，能高效实现静态 / 动态网页数据采集；深入理解多线程、异步协程（aiohttp、asyncio）及分布式爬虫架构，可应对高并发、大规模数据采集场景。
熟练运用 Selenium、Playwright 等自动化工具处理 JavaScript 渲染页面；熟悉 MySQL、MongoDB 等数据库存储与优化，掌握 Redis 实现增量爬取与去重；具备反反爬策略设计能力，包括 IP 代理池管理、User-Agent 伪装、请求频率控制等。
同时具备数据清洗、结构化处理及可视化分析能力，可将爬取数据转化为可落地的业务洞察，为决策提供支撑。
熟练运用 Selenium、Playwright 等自动化工具处理 JavaScript 渲染页面；熟悉 MySQL、MongoDB 等数据库存储与优化，掌握 Redis 实现增量爬取与去重；具备反反爬策略设计能力，包括 IP 代理池管理、User-Agent 伪装、请求频率控制等。
同时具备数据清洗、结构化处理及可视化分析能力，可将爬取数据转化为可落地的业务洞察，为决策提供支撑。
项目经验
电商平台商品数据采集与分析项目
负责搭建分布式爬虫系统，针对主流电商平台的商品信息、价格波动、用户评价等数据进行实时采集。采用 Scrapy 框架结合 Redis 实现分布式任务调度，通过 IP 代理池与请求频率控制规避反爬限制，日均采集数据量超百万条。运用 Pandas 进行数据清洗与结构化处理，构建可视化分析看板，为客户提供竞品价格策略、用户偏好洞察等决策支持，项目上线后使客户市场响应效率提升 40%。
社交媒体舆情监控系统
基于 Python 异步协程技术，开发针对社交媒体平台的舆情监控爬虫，实现热点话题、关键词提及量及情感倾向的实时追踪。通过 Selenium 处理动态加载内容，结合情感分析模型对用户评论进行正负向分类，生成舆情日报与预警报告。该系统成功识别多起潜在品牌危机事件，帮助客户提前介入处理，有效降低舆情负面影响。
负责搭建分布式爬虫系统，针对主流电商平台的商品信息、价格波动、用户评价等数据进行实时采集。采用 Scrapy 框架结合 Redis 实现分布式任务调度，通过 IP 代理池与请求频率控制规避反爬限制，日均采集数据量超百万条。运用 Pandas 进行数据清洗与结构化处理，构建可视化分析看板，为客户提供竞品价格策略、用户偏好洞察等决策支持，项目上线后使客户市场响应效率提升 40%。
社交媒体舆情监控系统
基于 Python 异步协程技术，开发针对社交媒体平台的舆情监控爬虫，实现热点话题、关键词提及量及情感倾向的实时追踪。通过 Selenium 处理动态加载内容，结合情感分析模型对用户评论进行正负向分类，生成舆情日报与预警报告。该系统成功识别多起潜在品牌危机事件，帮助客户提前介入处理，有效降低舆情负面影响。
ID:413982
复制
洛阳城
爬虫 · 1年经验 · 公益志愿联合会
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
精通 Python 爬虫全栈技术，熟练掌握 requests、BeautifulSoup、Scrapy 等主流框架，能高效实现静态 / 动态网页数据采集；深入理解多线程、异步协程（aiohttp、asyncio）及分布式爬虫架构，可应对高并发、大规模数据采集场景。
熟练运用 Selenium、Playwright 等自动化工具处理 JavaScript 渲染页面；熟悉 MySQL、MongoDB 等数据库存储与优化，掌握 Redis 实现增量爬取与去重；具备反反爬策略设计能力，包括 IP 代理池管理、User-Agent 伪装、请求频率控制等。
同时具备数据清洗、结构化处理及可视化分析能力，可将爬取数据转化为可落地的业务洞察，为决策提供支撑。
熟练运用 Selenium、Playwright 等自动化工具处理 JavaScript 渲染页面；熟悉 MySQL、MongoDB 等数据库存储与优化，掌握 Redis 实现增量爬取与去重；具备反反爬策略设计能力，包括 IP 代理池管理、User-Agent 伪装、请求频率控制等。
同时具备数据清洗、结构化处理及可视化分析能力，可将爬取数据转化为可落地的业务洞察，为决策提供支撑。
项目经验
电商平台商品数据采集与分析项目
负责搭建分布式爬虫系统，针对主流电商平台的商品信息、价格波动、用户评价等数据进行实时采集。采用 Scrapy 框架结合 Redis 实现分布式任务调度，通过 IP 代理池与请求频率控制规避反爬限制，日均采集数据量超百万条。运用 Pandas 进行数据清洗与结构化处理，构建可视化分析看板，为客户提供竞品价格策略、用户偏好洞察等决策支持，项目上线后使客户市场响应效率提升 40%。
社交媒体舆情监控系统
基于 Python 异步协程技术，开发针对社交媒体平台的舆情监控爬虫，实现热点话题、关键词提及量及情感倾向的实时追踪。通过 Selenium 处理动态加载内容，结合情感分析模型对用户评论进行正负向分类，生成舆情日报与预警报告。该系统成功识别多起潜在品牌危机事件，帮助客户提前介入处理，有效降低舆情负面影响。
负责搭建分布式爬虫系统，针对主流电商平台的商品信息、价格波动、用户评价等数据进行实时采集。采用 Scrapy 框架结合 Redis 实现分布式任务调度，通过 IP 代理池与请求频率控制规避反爬限制，日均采集数据量超百万条。运用 Pandas 进行数据清洗与结构化处理，构建可视化分析看板，为客户提供竞品价格策略、用户偏好洞察等决策支持，项目上线后使客户市场响应效率提升 40%。
社交媒体舆情监控系统
基于 Python 异步协程技术，开发针对社交媒体平台的舆情监控爬虫，实现热点话题、关键词提及量及情感倾向的实时追踪。通过 Selenium 处理动态加载内容，结合情感分析模型对用户评论进行正负向分类，生成舆情日报与预警报告。该系统成功识别多起潜在品牌危机事件，帮助客户提前介入处理，有效降低舆情负面影响。
立即沟通
