🌴꯭ 萌꯭ 萌꯭ 东꯭🌴

资深python后端工程师

上海某知名公司 · 5年经验

日薪：￥700/8h

地点：上海闵行

时间：下班后周六周日

ID:195572 复制

信用行为

接单数

评价数

收藏数

技术能力

AI 技能提取 | 分布式 Django Flask Tornado 微服务 Kafka RabbitMQ C# MySQL Redis MongoDB PostgreSQL 小程序 ZooKeeper Git

熟悉在Unix/Linux平台上开发，熟悉 Mac办公, 熟悉ubuntu 分支
熟悉封装, 继承, 多态面向对象形式开发, 熟悉面向对象编程思想
熟悉MySQL，SQLServer, Postgresql关系型数据库, 熟悉MongoDB，redis非关系型数据库, 熟悉RabbitMQ消息队列,熟悉Zookeeper, Kafka ,leancloud云数据库, 阿里云OSS
熟悉django, djangorestframework框架，熟悉MVC开发模式，熟悉nginx 和 uWSGI部署，熟悉cookie，session的使用, 熟悉celery分布式异步任务框架
熟悉Flask框架，熟悉Jinja2模板引擎语法，熟悉gunicorn部署
熟悉Tornado框架, 熟悉gen.coroutine, asyncio, ioloop了解WebSocket, 熟悉supervisor进程管理工具　
熟悉socket, 多线程, 多进程, 协程(gevent)多任务 ,熟悉epoll模型, I/O多路复用
熟悉前后端分离开发, 了解RESTFul API风格接口设计, 熟悉PEP8代码规范
熟悉Shell脚本, 熟悉saltstack, febric了解自动化运维相关知识
熟悉缓存处理，页面静态化，Web性能优化, 接口速度和接口安全优化
熟悉基于正则表达式re、XPath、JsonPath等网页解析技术,熟悉应用IP代理池Headers认证和Cookie，熟悉常见反爬机制和手段
熟悉selenium+phatomJs, 熟悉urlib,urlib2,requests模块,熟悉Scrapy框架,了解Scrapy_Redis分布式策略
熟悉git源代码管理工具，熟悉git-flow工作流和GitHub, GitLab，熟悉多人开发模式
之前从事过asp.net开发, 熟悉c#, 有多语言开发经历
了解Docker容器, 了解微服务, 有微信公共平台开发经验，熟悉微信JS-SDK、微信公众号，小程序文档
了解数据挖掘和数据分析和数据可视化相关库，了解numpy，pandas，scipy，plotly , matplotlib

展开全部技术能力

项目经验

爬虫项目：　 IPE（公众环境研究）
 网址：https://www.ipe.org.cn/
 相关技术和工具：python2.7/3.5、Ajax、jQuery、AngularJs、MySQL、nginx、qiniu（七牛云图片）、tornado、Tinymce、template.js、fiddler(工具)、Charles(工具)、XPath、 re、scrapy、jsonpath 、selenium 、logging、 confluence、asyncio、gevent、kafka
 项目描述：该项目是爬取各个政府公开信息整合到一个手机app作信息公开，环境保护
 负责模块：
 负责框架底层搭建：负责tornado 底层框架的搭建，模板，url路由映射，静态文件，登陆装饰器，日志处理(logging)，常用库（redis，pymysql）数据访问层的封装
 使用tornado.gen模块和asyncio模块请求第三方地址, I/O多路复用模式
 根据网页页面哈希值监测网站是否改版, 监测程序的可用性和爬取数据的正确性
 负责给蔚蓝地图APP提供RESTFulAPI风格接口, 展示抓取数据源, 各项污染指标信息, 信息公开
 负责抓取全国各个省市和政府网站的水质年报，月报，小时报，以及各个断面和湖泊的ph值，氨氮值，溶解氧等各个指标做信息公开，用到requests(headers认证），XPath, re等解析提取， scrapy（静态页面），selenium+phantomjs
 Fiddler 抓取分析常规页面请求响应报文，模拟请求通过正则匹配等获取可用信息入库
 Charles 抓取分析 Flash网页类型报文，siverlight 等其他非json数据格式等网站
 运用IP代理池，拨号等手段防止爬取被屏蔽封IP，运用第三方打码平台或者OCR识别验证码破解反爬
 rabbitmq 配合 Logging 分类记录日志，及时查看爬取统计和结果信息
 抓取数据监控：当爬虫程序异常,爬取网页发生页面变动或者数据格式异常进行邮件预警，及时排查问题
 做信息公开官网展示的反爬措施，前后端分离，js混淆，headers认证，json加密，接口地址隐藏，访问频率限制，加验证码等等
 接口文档编写，markdown语法，数据库文档字段注解
 gevent 协程多任务的方式异步请求获取数据，IO多路复用，减少需要快速获取接口实时同步数据时间

展开全部项目经验