William

1）投资管理研发平台
● 参与基础服务架构设计、框架及技术选型讨论，给出合理建议及流程梳理
● 参与前后端组件开发，使用前端vue编写页面交互逻辑
● 数据字典表、用户信息表、账户表设计，负责相关字典接口编写
● 用户登录后携带未过期的Token运行模型，查看模型报告，模型使用Celery作为异步任务运行，RabbitMQ处理用户请求，架构使用 Nginx+Restful无状态应用服务节点+多任务Worker节点+Redis Pub/Sub模式+ SSE前后端单工通信模式
● 任务由用户发起，任务运行请求req通过Nginx负载均衡到多个Restful服务器，若token有效，则启动一个异步task远程执行，同时前端、后端启动SSE客户端监听，任务完成后由task模型中的Redis发布者发出消息，Restful服务端Redis订阅者收到消息后通过SSE发送执行完成命令到前端SSE客户端，完成一次模型运行。
● 所有服务、Worker均通过Docker运行

2）Golang实现分布式任务调度系统
传统任务调度使用Crontab，需要ssh登陆服务器操作，单节点宕机后终止调度，排查问题不方便，项目使用可视化的页面配置方式，结合分布式理论实现高可用与易于扩展的高可用任务调度系统。
● 项目使用Master-Worker，一主多从的分布式架构，实现任务的高可用与高性能
● 基于Etcd实现任务在集群中分发。
● 事件广播，任务强杀功能的实现，基于etcd watcher实现
● 分布式锁 ，任务的并发调度，防止任务被多个worker执行
● 服务注册与发现，通过页面可以监控到健康的worker列表
● 并发设计，使用了Golang自带的高性能Goroutine实现任务到期时并发执行
● 异步日志，基于Goroutine任务日志以异高可用步方式传输到mongodb
● Nginx负载均衡实现了master的高可用
● 前端使用Bootstrap实现简易页面

3）多线程爬虫
使用基于python的scrapy,selenium,beautifulsoup, lxml, requests等爬虫框架以及自定义定向爬虫结合多线程Thread等抓取各网页数据存入mysql等主流数据库，包括但不限于各大招聘网站候选人信息，一个季度的天猫、淘宝、京东商品数据，新浪财经股票信息等大型网站数据
2.excel数据处理 使用vba操作excel, word, outlook等office系列软件实现办公自动化，对个别项目可以节省90%以上时间