猿急送>

上海Python兼职程序员

ID：154289

William

Python高级工程师

公司信息：
东方证券

工作经验：
6年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
上海
浦东

技术能力

个人博客：https://juejin.im/user/3298190615644472

精通Python，掌握Golang, Java等后端技术
熟悉Vue,Javascript,css等前端技术
熟悉Mysql数据库
熟悉Redis，Rabbitmq等中间件
熟练使用Git, Jira, Jenkins等CI/CD工具
熟悉Docker，Docker-Compose等容器化技术
了解Hadoop, HBase, Hive等大数据框架

项目经验

1）投资管理研发平台
● 参与基础服务架构设计、框架及技术选型讨论，给出合理建议及流程梳理
● 参与前后端组件开发，使用前端vue编写页面交互逻辑
● 数据字典表、用户信息表、账户表设计，负责相关字典接口编写
● 用户登录后携带未过期的Token运行模型，查看模型报告，模型使用Celery作为异步任务运行，RabbitMQ处理用户请求，架构使用 Nginx+Restful无状态应用服务节点+多任务Worker节点+Redis Pub/Sub模式+ SSE前后端单工通信模式
● 任务由用户发起，任务运行请求req通过Nginx负载均衡到多个Restful服务器，若token有效，则启动一个异步task远程执行，同时前端、后端启动SSE客户端监听，任务完成后由task模型中的Redis发布者发出消息，Restful服务端Redis订阅者收到消息后通过SSE发送执行完成命令到前端SSE客户端，完成一次模型运行。
● 所有服务、Worker均通过Docker运行

2）Golang实现分布式任务调度系统
传统任务调度使用Crontab，需要ssh登陆服务器操作，单节点宕机后终止调度，排查问题不方便，项目使用可视化的页面配置方式，结合分布式理论实现高可用与易于扩展的高可用任务调度系统。
● 项目使用Master-Worker，一主多从的分布式架构，实现任务的高可用与高性能
● 基于Etcd实现任务在集群中分发。
● 事件广播，任务强杀功能的实现，基于etcd watcher实现
● 分布式锁，任务的并发调度，防止任务被多个worker执行
● 服务注册与发现，通过页面可以监控到健康的worker列表
● 并发设计，使用了Golang自带的高性能Goroutine实现任务到期时并发执行
● 异步日志，基于Goroutine任务日志以异高可用步方式传输到mongodb
● Nginx负载均衡实现了master的高可用
● 前端使用Bootstrap实现简易页面

3）多线程爬虫
使用基于python的scrapy,selenium,beautifulsoup, lxml, requests等爬虫框架以及自定义定向爬虫结合多线程Thread等抓取各网页数据存入mysql等主流数据库，包括但不限于各大招聘网站候选人信息，一个季度的天猫、淘宝、京东商品数据，新浪财经股票信息等大型网站数据
2.excel数据处理使用vba操作excel, word, outlook等office系列软件实现办公自动化，对个别项目可以节省90%以上时间

案例展示

金融业数据分析+后端服务+前端开发

投资研究系统，作为全栈开发，项目包括如下技术： 1. 后端开发，以Python作为技术栈，使用Flask框架 2. 前端开发，使用VueJs作为前端框架，Elementui组件作为UI框架，快速成型 3. 使用Docker容器化技术，快速部署上线 4. 作为Teamlea
分布式任务调度系统

传统任务调度使用Crontab，需要ssh登陆服务器操作，单节点宕机后终止调度，排查问题不方便，项目使用可视化的页面配置方式，结合分布式理论实现高可用与易于扩展的高可用任务调度系统。 ● 项目使用Master-Worker，一主多从的分布式架构，实现任务的高可用与高性能 ●