包先生

爬虫工程师

湖南豪之天信息技术有限公司 · 2年经验

日薪：￥500/8h

地点：北京海淀

时间：下班后

ID:156781 复制

信用行为

0

接单数

0

评价数

0

收藏数

技术能力

AI 技能提取 | Redis MySQL MongoDB CSS 分布式 Python 小程序 Selenium Linux

 熟悉Scrapy框架，能实现Scrapy-Redis的分布式爬取
 具有一定的反爬，反反爬经验，能处理一些懒加载，验证码登录的问题
 熟悉selenium，appium
 熟悉逆向JS
 熟练使用Xpath，正则表达式，能使用BS4， CSS选择器
 对MySql， mongodb，Redis熟练掌握
 熟悉python语言
 有小程序开发经验
 熟悉linux系统，熟悉TCP协议
 能独立解决验证码/IP封禁/JS动态加载

展开全部技术能力

项目经验

抖音数据爬取
项目简介：抓取目标的粉丝数，获赞数，视频等主页上需要的数据
开发环境：Appium+fiddler+requests+font解密工具
责任描述：1.使用fiddler找到与目标主页相关的URL接口
2.爬取视频需使用Appium模拟用户向下刷新出更多视频
3.爬取粉丝数，获赞数这些主页上的数据需要用font解密工具找到字体加密的映射表后使用正则替换才能拿到正确的数据
4.也可逆向JS找到signature的加密方式来获取相应需求的数据

展开全部项目经验

ID:156781 复制

包先生

爬虫工程师 · 2年经验 · 湖南豪之天信息技术有限公司

城市北京海淀日薪500元/8h 时间下班后

0

累计接单

0

用户评价

0

被收藏

信用行为

0

接单数

0

评价数

0

收藏数

技术能力项目经验

技术能力

AI 技能提取 | Redis MySQL MongoDB CSS 分布式 Python 小程序 Selenium Linux

 熟悉Scrapy框架，能实现Scrapy-Redis的分布式爬取
 具有一定的反爬，反反爬经验，能处理一些懒加载，验证码登录的问题
 熟悉selenium，appium
 熟悉逆向JS
 熟练使用Xpath，正则表达式，能使用BS4， CSS选择器
 对MySql， mongodb，Redis熟练掌握
 熟悉python语言
 有小程序开发经验
 熟悉linux系统，熟悉TCP协议
 能独立解决验证码/IP封禁/JS动态加载

项目经验

抖音数据爬取
项目简介：抓取目标的粉丝数，获赞数，视频等主页上需要的数据
开发环境：Appium+fiddler+requests+font解密工具
责任描述：1.使用fiddler找到与目标主页相关的URL接口
2.爬取视频需使用Appium模拟用户向下刷新出更多视频
3.爬取粉丝数，获赞数这些主页上的数据需要用font解密工具找到字体加密的映射表后使用正则替换才能拿到正确的数据
4.也可逆向JS找到signature的加密方式来获取相应需求的数据

展开全部项目经验

立即沟通立即预约

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

✓ 支付宝企业信用分优秀评级
✓ 市场份额约占全行业三分之一
✓ 程序员兼职行业全能首选平台

查看平台资质详情

相似人才推荐：

北京后端开发工程师 (亚信科技（南京）有限公司) ，2年经验，500元/天武汉产品经理 (保密) ，5年经验，1000元/天长沙爬虫工程师 (湖南通证) ，1年经验，500元/天北京研发工程师 (百度) ，1年经验，700元/天上海自然语言处理工程师 (nokia上海贝尔科技有限公司) ，4年经验，500元/天成都爬虫工程师 (Scount) ，2年经验，500元/天其他全栈开发工程师 (贵州天逸轩网络科技有限公司) ，3年经验，500元/天上海爬虫工程师，全栈，微信小程序公众号，APP推广网页 (上海xx网络科技有限公司) ，4年经验，800元/天

收藏立即预约