zkx
python数据工程师
北京智慧星光信息技术股份有限公司 · 9年经验
日薪：
￥1000/8h
地点：
北京 海淀
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
熟练运用 Python 语言，用 Scrapy 框架搭建分布式爬虫架构，实现大规模数据采集，精通js/安卓逆向，突破反爬限制。熟悉正则表达式，对复杂页面数据进行精准匹配；掌握 MongoDB、MySQL 等数据库操作，将爬取数据高效存储与管理。可针对不同网站，如电商平台商品信息、新闻资讯站点内容，定制化开发爬虫程序，保障数据采集的稳定性与准确性，同时遵循 robots 协议，合法合规开展爬虫工作
项目经验
电商商品数据监控爬虫项目：为某电商数据分析团队，开发针对多平台商品数据的爬虫系统。运用 Scrapy 框架，配置多线程并发采集，攻克目标网站的反爬机制，如动态验证码识别（集成第三方识别接口）、IP 高频访问限制（搭建含 200 + 代理 IP 的池化管理）。对商品标题、价格、销量、评价等信息，按小时级频率采集，存储至 MongoDB 数据库。经优化，单平台商品页采集耗时从 3 秒降至 1.2 秒，数据准确率达 99.5% ，支撑团队完成竞品分析、价格趋势研究等业务，助力客户精准调整商品策略 。
新闻资讯聚合爬虫项目：为资讯类 APP 开发内容爬虫，覆盖 20 余家主流新闻站点。基于 requests + BeautifulSoup 组合，针对不同站点 HTML 结构差异，编写适配解析规则。实现对热点新闻标题、正文、发布时间、作者等信息的实时抓取，通过 Redis 做任务队列与去重处理，保障数据实时性与唯一性。每日稳定采集 5000 + 条新闻，数据经清洗后接入 APP 内容推荐系统，提升内容丰富度，助力 APP 日活增长 8% ，增强用户留存率
新闻资讯聚合爬虫项目：为资讯类 APP 开发内容爬虫，覆盖 20 余家主流新闻站点。基于 requests + BeautifulSoup 组合，针对不同站点 HTML 结构差异，编写适配解析规则。实现对热点新闻标题、正文、发布时间、作者等信息的实时抓取，通过 Redis 做任务队列与去重处理，保障数据实时性与唯一性。每日稳定采集 5000 + 条新闻，数据经清洗后接入 APP 内容推荐系统，提升内容丰富度，助力 APP 日活增长 8% ，增强用户留存率
zkx
python数据工程师 · 9年经验 · 北京智慧星光信息技术股份有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
熟练运用 Python 语言，用 Scrapy 框架搭建分布式爬虫架构，实现大规模数据采集，精通js/安卓逆向，突破反爬限制。熟悉正则表达式，对复杂页面数据进行精准匹配；掌握 MongoDB、MySQL 等数据库操作，将爬取数据高效存储与管理。可针对不同网站，如电商平台商品信息、新闻资讯站点内容，定制化开发爬虫程序，保障数据采集的稳定性与准确性，同时遵循 robots 协议，合法合规开展爬虫工作
项目经验
电商商品数据监控爬虫项目：为某电商数据分析团队，开发针对多平台商品数据的爬虫系统。运用 Scrapy 框架，配置多线程并发采集，攻克目标网站的反爬机制，如动态验证码识别（集成第三方识别接口）、IP 高频访问限制（搭建含 200 + 代理 IP 的池化管理）。对商品标题、价格、销量、评价等信息，按小时级频率采集，存储至 MongoDB 数据库。经优化，单平台商品页采集耗时从 3 秒降至 1.2 秒，数据准确率达 99.5% ，支撑团队完成竞品分析、价格趋势研究等业务，助力客户精准调整商品策略 。
新闻资讯聚合爬虫项目：为资讯类 APP 开发内容爬虫，覆盖 20 余家主流新闻站点。基于 requests + BeautifulSoup 组合，针对不同站点 HTML 结构差异，编写适配解析规则。实现对热点新闻标题、正文、发布时间、作者等信息的实时抓取，通过 Redis 做任务队列与去重处理，保障数据实时性与唯一性。每日稳定采集 5000 + 条新闻，数据经清洗后接入 APP 内容推荐系统，提升内容丰富度，助力 APP 日活增长 8% ，增强用户留存率
新闻资讯聚合爬虫项目：为资讯类 APP 开发内容爬虫，覆盖 20 余家主流新闻站点。基于 requests + BeautifulSoup 组合，针对不同站点 HTML 结构差异，编写适配解析规则。实现对热点新闻标题、正文、发布时间、作者等信息的实时抓取，通过 Redis 做任务队列与去重处理，保障数据实时性与唯一性。每日稳定采集 5000 + 条新闻，数据经清洗后接入 APP 内容推荐系统，提升内容丰富度，助力 APP 日活增长 8% ，增强用户留存率
立即沟通
