鲸鱼吖
高级php开发工程师 python工程师
无锡择尚科技有限集团 · 3年经验
日薪：
￥500/8h
地点：
南京 全区
时间：
下班后周六周日可工作日远程可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
熟悉使用python浏览器爬虫pyppeteer selesium
曾为
1.中海油提供：百度资讯/新浪资讯/卓创资讯/财新网等新闻资讯 并且利用apscheduler定时提取多线程数据结束关闭浏览器，不占用服务器资源，
2.曾为江苏天马网络提供物流信息采集，利用pyppeteer将物流单号放到搜索框查询后获取数据。
利用pandas to_sql 爬取结果存储于mysql。
曾为
1.中海油提供：百度资讯/新浪资讯/卓创资讯/财新网等新闻资讯 并且利用apscheduler定时提取多线程数据结束关闭浏览器，不占用服务器资源，
2.曾为江苏天马网络提供物流信息采集，利用pyppeteer将物流单号放到搜索框查询后获取数据。
利用pandas to_sql 爬取结果存储于mysql。
项目经验
1，pyppeteer采用asyncio以达成高并发，异步请求。
2，通过timeout设置超时重发机制，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过pyppeteer浏览器爬虫可以操作页面表单/元素 登录成功后获取数据反爬概率就很低
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
2，通过timeout设置超时重发机制，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过pyppeteer浏览器爬虫可以操作页面表单/元素 登录成功后获取数据反爬概率就很低
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
鲸鱼吖
高级php开发工程师 python工程师 · 3年经验 · 无锡择尚科技有限集团
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
熟悉使用python浏览器爬虫pyppeteer selesium
曾为
1.中海油提供：百度资讯/新浪资讯/卓创资讯/财新网等新闻资讯 并且利用apscheduler定时提取多线程数据结束关闭浏览器，不占用服务器资源，
2.曾为江苏天马网络提供物流信息采集，利用pyppeteer将物流单号放到搜索框查询后获取数据。
利用pandas to_sql 爬取结果存储于mysql。
曾为
1.中海油提供：百度资讯/新浪资讯/卓创资讯/财新网等新闻资讯 并且利用apscheduler定时提取多线程数据结束关闭浏览器，不占用服务器资源，
2.曾为江苏天马网络提供物流信息采集，利用pyppeteer将物流单号放到搜索框查询后获取数据。
利用pandas to_sql 爬取结果存储于mysql。
项目经验
1，pyppeteer采用asyncio以达成高并发，异步请求。
2，通过timeout设置超时重发机制，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过pyppeteer浏览器爬虫可以操作页面表单/元素 登录成功后获取数据反爬概率就很低
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
2，通过timeout设置超时重发机制，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过pyppeteer浏览器爬虫可以操作页面表单/元素 登录成功后获取数据反爬概率就很低
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
案例展示
立即沟通
相似人才推荐：
