未央

数据治理工程师
贵州融创智云信息科技有限公司 · 1年经验
未央
日薪: ¥500/8h
地点: 贵阳 全区
时间: 周六周日可工作日远程
ID:419684 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | HTTP Python Selenium MySQL
我是一名专注数据采集与处理的Python开发者,能够独立完成中小型爬虫项目,从需求分析到数据交付均有实践经验。
熟练使用requests库构造HTTP请求,能够灵活添加请求头、Cookie、代理IP以及随机延时,有效应对轻型反爬机制。
精通Beautifulsoup、XPath和正则表达式,能从静态网页中精准提取文本、链接、图片等信息;对于动态加载的网站,能够使用Selenium模拟浏览器操作,获取完整页面数据。
掌握 pandas进行数据清洗与格式转换,支持CSV、Excel、JSON等常见格式的读写;了解MySQL基础操作,能够将数据存入数据库。注重代码可读性,编写必要的注释和异常处理,确保程序稳定运行。交付成果包含运行说明,并提供短期售后支持,配合客户完成验收。
我相信我的技术能力能够胜任常规数据采集任务,为客户提供可靠、高效的服务

项目一:某电商网站商品信息爬取
项目描述:爬取目标电商网站的商品列表及详情页数据,包括商品名称、价格、销量、评价数等字段,
用于市场竞品分析。
技术栈:requests + BeautifulSoup + pandas + time
职责与难点:
分析网站分页规律,构造循环请求实现多页数据抓取。
针对商品详情页的异步加载内容,使用Selenium模拟浏览器滚动与点击,获取完整页面源代码后再用BeautifulSoup 解析。
对缺失字段进行异常处理,使用 pandas清洗数据并导出为Excel报表。
成果:累计抓取有效数据2000余条,为客户提供了及时的价格监测依据。
项目二:某动态网站评论数据采集
项目描述:采集某个社交平台的用户评论,包含用户名、评论内容、点赞数、发布时间。
技术栈:Selenium+re+pandas
职责:
使用Selenium模拟登录和滚动加载,处理无限滚动分页。
利用正则表达式从页面源码中提取隐藏的JSON数据块,转为字典后提取字段。
将最终结果保存为CSV文件,并编写简单的统计分析
成果:完成了2000条评论的采集与初步分析,交付代码及使用说明。
以上项目均为独立完成,代码注释清晰,具备良好的可维护性。
未央 ID:419684 复制

未央

数据治理工程师 · 1年经验 · 贵州融创智云信息科技有限公司
城市贵阳 全区 日薪500元/8h 时间 周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | HTTP Python Selenium MySQL
我是一名专注数据采集与处理的Python开发者,能够独立完成中小型爬虫项目,从需求分析到数据交付均有实践经验。
熟练使用requests库构造HTTP请求,能够灵活添加请求头、Cookie、代理IP以及随机延时,有效应对轻型反爬机制。
精通Beautifulsoup、XPath和正则表达式,能从静态网页中精准提取文本、链接、图片等信息;对于动态加载的网站,能够使用Selenium模拟浏览器操作,获取完整页面数据。
掌握 pandas进行数据清洗与格式转换,支持CSV、Excel、JSON等常见格式的读写;了解MySQL基础操作,能够将数据存入数据库。注重代码可读性,编写必要的注释和异常处理,确保程序稳定运行。交付成果包含运行说明,并提供短期售后支持,配合客户完成验收。
我相信我的技术能力能够胜任常规数据采集任务,为客户提供可靠、高效的服务

项目经验

项目一:某电商网站商品信息爬取
项目描述:爬取目标电商网站的商品列表及详情页数据,包括商品名称、价格、销量、评价数等字段,
用于市场竞品分析。
技术栈:requests + BeautifulSoup + pandas + time
职责与难点:
分析网站分页规律,构造循环请求实现多页数据抓取。
针对商品详情页的异步加载内容,使用Selenium模拟浏览器滚动与点击,获取完整页面源代码后再用BeautifulSoup 解析。
对缺失字段进行异常处理,使用 pandas清洗数据并导出为Excel报表。
成果:累计抓取有效数据2000余条,为客户提供了及时的价格监测依据。
项目二:某动态网站评论数据采集
项目描述:采集某个社交平台的用户评论,包含用户名、评论内容、点赞数、发布时间。
技术栈:Selenium+re+pandas
职责:
使用Selenium模拟登录和滚动加载,处理无限滚动分页。
利用正则表达式从页面源码中提取隐藏的JSON数据块,转为字典后提取字段。
将最终结果保存为CSV文件,并编写简单的统计分析
成果:完成了2000条评论的采集与初步分析,交付代码及使用说明。
以上项目均为独立完成,代码注释清晰,具备良好的可维护性。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

暂不接受预约

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏 暂不接受 微信沟通 立即沟通