北京其它兼职程序员

ID：400360

zkx

python数据工程师

公司信息：
北京智慧星光信息技术股份有限公司

工作经验：
9年

兼职日薪：
1000元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀

技术能力

熟练运用 Python 语言，用 Scrapy 框架搭建分布式爬虫架构，实现大规模数据采集，精通js/安卓逆向，突破反爬限制。熟悉正则表达式，对复杂页面数据进行精准匹配；掌握 MongoDB、MySQL 等数据库操作，将爬取数据高效存储与管理。可针对不同网站，如电商平台商品信息、新闻资讯站点内容，定制化开发爬虫程序，保障数据采集的稳定性与准确性，同时遵循 robots 协议，合法合规开展爬虫工作

项目经验

电商商品数据监控爬虫项目：为某电商数据分析团队，开发针对多平台商品数据的爬虫系统。运用 Scrapy 框架，配置多线程并发采集，攻克目标网站的反爬机制，如动态验证码识别（集成第三方识别接口）、IP 高频访问限制（搭建含 200 + 代理 IP 的池化管理）。对商品标题、价格、销量、评价等信息，按小时级频率采集，存储至 MongoDB 数据库。经优化，单平台商品页采集耗时从 3 秒降至 1.2 秒，数据准确率达 99.5% ，支撑团队完成竞品分析、价格趋势研究等业务，助力客户精准调整商品策略。

新闻资讯聚合爬虫项目：为资讯类 APP 开发内容爬虫，覆盖 20 余家主流新闻站点。基于 requests + BeautifulSoup 组合，针对不同站点 HTML 结构差异，编写适配解析规则。实现对热点新闻标题、正文、发布时间、作者等信息的实时抓取，通过 Redis 做任务队列与去重处理，保障数据实时性与唯一性。每日稳定采集 5000 + 条新闻，数据经清洗后接入 APP 内容推荐系统，提升内容丰富度，助力 APP 日活增长 8% ，增强用户留存率

相似人才推荐

联系需求方端客服

热门标签列表

程序员接私活程序员兼职企业外包外包案例

热门城市人才

北京兼职程序员上海兼职程序员广州兼职程序员深圳兼职程序员杭州兼职程序员成都兼职程序员天津兼职程序员重庆兼职程序员武汉兼职程序员西安兼职程序员南京兼职程序员长沙兼职程序员苏州兼职程序员厦门兼职程序员福州兼职程序员合肥兼职程序员济南兼职程序员青岛兼职程序员大连兼职程序员长春兼职程序员沈阳兼职程序员哈尔滨兼职程序员石家庄兼职程序员太原兼职程序员无锡兼职程序员南昌兼职程序员洛阳兼职程序员郑州兼职程序员南宁兼职程序员珠海兼职程序员宁波兼职程序员昆明兼职程序员东莞兼职程序员贵阳兼职程序员温州兼职程序员佛山兼职程序员中山兼职程序员海口兼职程序员常州兼职程序员兰州兼职程序员呼和浩特兼职程序员乌鲁木齐兼职程序员海外兼职程序员其他兼职程序员山东兼职程序员远程兼职程序员

热门城市职位

北京程序员外包上海程序员外包广州程序员外包深圳程序员外包杭州程序员外包成都程序员外包天津程序员外包重庆程序员外包武汉程序员外包西安程序员外包南京程序员外包长沙程序员外包苏州程序员外包厦门程序员外包福州程序员外包合肥程序员外包济南程序员外包青岛程序员外包大连程序员外包长春程序员外包沈阳程序员外包哈尔滨程序员外包石家庄程序员外包太原程序员外包无锡程序员外包南昌程序员外包洛阳程序员外包郑州程序员外包南宁程序员外包珠海程序员外包宁波程序员外包昆明程序员外包东莞程序员外包贵阳程序员外包温州程序员外包佛山程序员外包中山程序员外包海口程序员外包常州程序员外包兰州程序员外包呼和浩特程序员外包乌鲁木齐程序员外包海外程序员外包其他程序员外包山东程序员外包远程程序员外包

热门人才推荐

热门职位推荐

iOS工程师Android工程师前端工程师后端工程师嵌入式工程师UI设计师产品经理测试工程师运维工程师游戏工程师运营/编辑其它

找人才 | 接项目 | 招聘专员 | 京ICP备16030138号-1 | Copyright © 2015-2025 猿急送