ID：259490
oo 身份已认证
python开发
- 公司信息：
- 尹力
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 广州
- 佛山
技术能力
熟悉python语言；
能使用scrapy及selenium框架自动化定时爬取数据及数据处理；
熟练用抓包工具对不同web端网站进行报文分析，找到有用接口从而进行数据爬取；
了解MySQL数据库；
前端方面能依据设计图用HTML、CSS、JavaScript还原模板页面；
前端框架基本使用vue全家桶；
项目经验
定时爬虫项目
通过不同网站的报文请求的分析及js断点调试，结合scrapy框架和selenium的特点对今日头条、哔哩哔哩、抖音、快手、东方财富等站点的数据爬取、处理及上传。
爬取数据内容形式主要有视频、图片以及文章段落。
数据的处理依据需求分别设置了针对段落文字的过滤词过滤及长度过滤；针对图片的水印过滤裁切；针对视频长度的过滤；
过程中遇到过麻烦的问题有滑块验证、cookie关键加密串验证等，滑块验证曾用添加特殊cookie的方式解决，针对抖音的滑块验证采用cv2识别解决；cookie关键加密串通过js断点调试找到加密方法，特别麻烦的有如抖音的s_v_web_id通过使用selenium模拟解决
案例展示
-
定时爬虫
作品：定时爬虫、数据处理及上传项目 简介：爬取不同网站指定类型的数据，针对爬取下来的数据进行数据清洗、过滤以及上传。爬取的内容包括有文章内容、段落评论、图片、视频等。完善爬虫及数据处理上传任务后使用thread使任务定时执行。 负责：网站分析、爬虫及数据处理
-
响应式模板
角色： 前端模板页面还原。 说明： 根据提供的设计图还原响应式模板页面，主要适配手机端及浏览器窗口。
相似人才推荐
-
1000元/天Java高级开发工程师， Python.量化工程师石家庄奥安科技有限公司概要：掌握技术dubbo和springboot，jsp、spring 、struts2、spring mv
-
500元/天python郑州埃文科技概要：10年工作经验，精通python django vue.熟练使用github,docker 能够独立
-
600元/天Python研发工程师北京溪流科技概要：精通 Python 语言开发，遵守PEP8 规范 熟练使用 Django、Flask 等 Web
-
500元/天python工程师华泰概要：1.熟练运用 Python 编程语言，熟悉 python 标准库和流行的第三方库； 2.熟练 D
-
500元/天java/python开发 前端开发阿里概要：python/java后端开发 熟悉springboot flask pandas sklearn -
500元/天python工程师小牦牛网络概要：掌握熟练使用当下主流数据库：Oracle,DB2,MySql,H2,MongoDB,redis等；
-
500元/天python,java,易语言武汉超星科技有限公司概要：会python熟知python爬虫框架scrapy,会djiango框架,自己写过个人商城和个人微博
-
500元/天python策略开发工程师恒生电子概要：熟练:python 熟悉:JS、CSS、HTML、MYSQL、echarts 了解:C++
