ID：280621
鲸鱼吖
高级php开发工程师 python工程师
- 公司信息：
- 无锡择尚科技有限集团
- 工作经验：
- 3年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 可工作日驻场（自由职业原因）
- 所在区域：
- 南京
- 全区
技术能力
熟悉使用python浏览器爬虫pyppeteer selesium
曾为
1.中海油提供：百度资讯/新浪资讯/卓创资讯/财新网等新闻资讯 并且利用apscheduler定时提取多线程数据结束关闭浏览器，不占用服务器资源，
2.曾为江苏天马网络提供物流信息采集，利用pyppeteer将物流单号放到搜索框查询后获取数据。
利用pandas to_sql 爬取结果存储于mysql。
项目经验
1，pyppeteer采用asyncio以达成高并发，异步请求。
2，通过timeout设置超时重发机制，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过pyppeteer浏览器爬虫可以操作页面表单/元素 登录成功后获取数据反爬概率就很低
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
案例展示
-
个人博客
个人博客 主要开发和维护者 记录平时工作时积累的问题和好的功能点 封装好的代码 记录日常生活等等 毕竟生活也是需要仪式
-
微信投票系统
thinkphp5与公众号开发的微信投票系统 只能在微信浏览器运行，通过分享朋友圈，学员二维码集赞来进行排名 学员内部还可以机构举办的优惠课程进行抢购，支持微信在线支付，二维码转账等。 链接：请用微信打开(前台)
相似人才推荐
-
500元/天开发组负责人，Python开发工程师保密概要：1.擅长Python爬虫、Web开发（主要用Django）； 2.熟悉JS、CSS、H5、Vue；
-
500元/天算法工程师、前端、后端、python、应用程序阿里巴巴概要：熟练使用 python、tensorflow、pytorch、sklearn、MATLAB、MySQ
-
500元/天Python爬虫工程师Detabes概要：python爬虫，分布式爬虫，scrapy，requests，关系型数据库和非关系型数据库，熟悉py
-
800元/天python开发工程师字节跳动概要：我们是一家集信息化解决方案咨询、设计、开发、实施、运营为一体的互联网+软件定制开发专业机构。我们专注
-
500元/天Python工程师成都博墨广告公司概要：主要从事Python相关的开发，擅长网络爬虫，数据分析可视化，自动化办公等 Python网络爬虫熟
-
800元/天python开发工程师宏发科技有限公司概要：熟练 python语言，熟悉整个爬虫的设计及实现，有网络爬虫、网页信息抽取开发经验，擅长对大量数据进
-
500元/天python南京烽火科技概要：1.掌握python爬虫技术，熟练地使用python进行开发 2.掌握Scrapy、seleniu
-
500元/天python web工程师，福建国科信息科技有限公司概要：python web开发，了解fastapi，flask等框架； 前端开发，熟悉uniapp，微信
