ID:195572

🌴꯭ 萌꯭ 萌꯭ 东꯭🌴

资深python后端工程师

  • 公司信息:
  • 上海某知名公司
  • 工作经验:
  • 5年
  • 兼职日薪:
  • 700元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 所在区域:
  • 上海
  • 闵行

技术能力

熟悉在Unix/Linux平台上开发,熟悉 Mac办公, 熟悉ubuntu 分支
熟悉封装, 继承, 多态面向对象形式开发, 熟悉面向对象编程思想
熟悉MySQL,SQLServer, Postgresql关系型数据库, 熟悉MongoDB,redis非关系型数据库, 熟悉RabbitMQ消息队列,熟悉Zookeeper, Kafka ,leancloud云数据库, 阿里云OSS
熟悉django, djangorestframework框架,熟悉MVC开发模式, 熟悉nginx 和 uWSGI部署,熟悉cookie,session的使用, 熟悉celery分布式异步任务框架
熟悉Flask框架,熟悉Jinja2模板引擎语法,熟悉gunicorn部署
熟悉Tornado框架, 熟悉gen.coroutine, asyncio, ioloop了解WebSocket, 熟悉supervisor进程管理工具 
熟悉socket, 多线程, 多进程, 协程(gevent)多任务 ,熟悉epoll模型, I/O多路复用
熟悉前后端分离开发, 了解RESTFul API风格接口设计, 熟悉PEP8代码规范
熟悉Shell脚本, 熟悉saltstack, febric了解自动化运维相关知识
熟悉缓存处理,页面静态化,Web性能优化, 接口速度和接口安全优化
熟悉基于正则表达式re、XPath、JsonPath等网页解析技术,熟悉应用IP代理池Headers认证和Cookie,熟悉常见反爬机制和手段
熟悉selenium+phatomJs, 熟悉urlib,urlib2,requests模块,熟悉Scrapy框架,了解Scrapy_Redis分布式策略
熟悉git源代码管理工具,熟悉git-flow工作流和GitHub, GitLab,熟悉多人开发模式
之前从事过asp.net开发, 熟悉c#, 有多语言开发经历
了解Docker容器, 了解微服务, 有微信公共平台开发经验,熟悉微信JS-SDK、微信公众号,小程序文档
了解数据挖掘和数据分析和数据可视化相关库,了解numpy,pandas,scipy,plotly , matplotlib

项目经验

爬虫项目:   IPE(公众环境研究)
 网址:https://www.ipe.org.cn/
 相关技术和工具:python2.7/3.5、Ajax、jQuery、AngularJs、MySQL、nginx、qiniu(七牛云图片)、tornado、Tinymce、template.js、fiddler(工具)、Charles(工具)、XPath、 re、scrapy、jsonpath 、selenium 、logging、 confluence、asyncio、gevent、kafka
 项目描述:该项目是爬取各个政府公开信息整合到一个手机app作信息公开,环境保护
 负责模块:
 负责框架底层搭建:负责tornado 底层框架的搭建,模板,url路由映射,静态文件,登陆装饰器,日志处理(logging),常用库(redis,pymysql)数据访问层的封装
 使用tornado.gen模块 和asyncio模块请求第三方地址, I/O多路复用模式
 根据网页页面哈希值监测网站是否改版, 监测程序的可用性和爬取数据的正确性
 负责给蔚蓝地图APP提供RESTFulAPI风格接口, 展示抓取数据源, 各项污染指标信息, 信息公开
 负责抓取全国各个省市和政府网站的水质年报,月报,小时报,以及各个断面和湖泊的ph值,氨氮值,溶解氧等各个指标做信息公开,用到requests(headers认证),XPath, re等解析提取, scrapy(静态页面),selenium+phantomjs
 Fiddler 抓取分析常规页面请求响应报文,模拟请求通过正则匹配等获取可用信息入库
 Charles 抓取分析 Flash网页类型报文,siverlight 等其他非json数据格式等网站
 运用IP代理池,拨号等手段防止爬取被屏蔽封IP,运用第三方打码平台或者OCR识别验证码破解反爬
 rabbitmq 配合 Logging 分类记录日志,及时查看爬取统计和结果信息
 抓取数据监控:当爬虫程序异常,爬取网页发生页面变动或者数据格式异常进行邮件预警,及时排查问题
 做信息公开官网展示的反爬措施,前后端分离,js混淆,headers认证,json加密,接口地址隐藏,访问频率限制,加验证码等等
 接口文档编写,markdown语法,数据库文档字段注解
 gevent 协程多任务的方式异步请求获取数据,IO多路复用,减少需要快速获取接口实时同步数据时间

案例展示

  • 女性电商平台-山茶花

    女性电商平台-山茶花

    电商后台Flask-Login 模块实现用户登录,leancloud-sdk对密码sha256加密 Flask-Paginate 做数据分页,页码条展示,上传qiuniu 云图片 Flask-SQLAlchemy orm 框架, 操作数据库更加方便 Flask-cors模块

  • ipe公众研究中心以及附属爬虫平台

    ipe公众研究中心以及附属爬虫平台

    相关技术和工具:python2.7/3.5、Ajax、jQuery、AngularJs、MySQL、nginx、qiniu(七牛云图片)、tornado、Tinymce、template.js、fiddler(工具)、Charles(工具)、XPath、 re、scrapy、js

  • 大唐不夜城APP

    大唐不夜城APP

    项目描述:西安年最中国 ( 大唐不夜城APP , 曲江旅游推广 ) 相关技术和工具:python2.7、djangorestframework、django、django-filter、pika、psycopg2、阿里云oss、febric、git、django-redis、d

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服