ID:194403

光辉岁月

Python开发工程师

  • 公司信息:
  • 华为
  • 工作经验:
  • 3年
  • 兼职日薪:
  • 800元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 西安
  • 全区

技术能力

熟练掌握Python语法与流行的第三方库,熟练使用git,熟练使用Linux操作系统;
熟练掌握Django框架,熟悉flask框架,熟练使用Mysql, Redis, Mongodb等数据库;
熟悉Python常用的自带模块、了解cookie-session、JWT、以及前端的js、html等;
熟悉restful 后端api设计风格,熟练使用DRF框架实现前后端分离;
熟练开发各种功能的Python脚本,可用于测试、爬虫、及完成枯燥的重复电脑操作;
熟练掌握常见的爬虫,熟练使用requests、urllib、 Selenium、Scrapy、xpath各模块;
熟练应对反爬虫策略 例如:动态cookie,验证码,ip代理,js加密和滑块验证码;

项目经验

易采通app数据采集
项目描述:获取网站上的法律、法规、地方法规、部门规章、热门法规、国际规则、案例点评、讲解音频等信息;并对接百度ai接口,进行音频转写。
开发工具:Python + Charles + windows环境
主要职责:
1. 使用charles抓取网络请求,分析请求,使用requests模块,模拟发送请求。
2. 获取app中各个模块的数据,写入到本地文件。
3. 使用多线程,下载音频文件。
技术要点:
1. 获取文件格式为html,调用Python的pypandoc模块,进行html到docx的格式转换。
2. 注册百度ai平台应用,获取调用音频转写api的权限,获取应用的api_key和secret_key
3. 音频转写为文本,获取音频文件链接,调用百度ai接口,进行音频到文本的转写。
4. 使用Python第三方模块pyinstaller对脚本进行打包成exe文件,可以在非Python环境的windows系统中执行。

arduino网站数据采集
项目描述:负责完成arduino网站所有项目的数据采集,并完成所有项目的静态化页面的下载。
开发环境: Python + xpath + redis + scrapy
主要职责:
1. 使用scrapy框架,创建项目,建立数据模型;
2. 分析网页,利用xpath和正则进行数据提取,并完成数据清洗和存储;
3. 使用scrapy框架提供的数据模型,完成网站中文件和图片的异步下载;
4. 使用脚本,完成静态网页的下载,并使用多任务和redis完成多脚本同时爬取;
技术要点:
1. 使用redis数据库完成url的存储,并设置访问条件,防止重复采集。
2. 针对非结构化数据,无法提取和保存,使用selenium+chrome访问页面。
3. 使用pyautogui模块,完成鼠标和键盘的控制,来下载静态网页文件。
4. 使用多线程及互斥锁,保证下载的效率和程序的正确执行。
5. 以文件和csv形式保存获得的数据。
网站实时数据采集
项目描述:负责爬取网站的实时变化的数据,形成数据变化趋势,为后续的决策提供依据。
开发环境:python +  mysql  + xpath + Ubuntu
主要职责:
1. 根据目标数据情新建mysql数据库,并完成表和字段的创建;
2. 利用脚本进行数据爬取, 完成数据清洗并存入数据库;
3. 采用定时任务,固定时间间隔,获取所有数据;
4. 在阿里云服务器建立虚拟环境,安装chrome,并完成部署;
技术要点:
1. 使用正则和Xpath相结合来抓取页面信息。
2. 使用selenium定时访问,获取cookies并更新,以防止cookies过期。
3. 在脚本中使用sql语句,与数据库之间进行交互,完成数据的存储。
4. 控制爬取的速度,进行访问异常捕获,保证爬虫的稳定。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服