互联网采集管理平台
项目简介
该平台基于“互联网+大数据 而自主研发建立的一个先进、高效、稳定的数据采集处理平台，提供数据采集、数据清洗、数据检索、数据定制、数据导出等功能 实现对互联网大数据的采集挖掘，拓展信息采集渠道等目标。
该系统分为：任务管理，基础配置，清洗配置，数据市场四大模块。
技术栈（前后端分离）
后端：django rest framework + celery + redis + mysql + nginx + gunicorm + elas-ticsearch
前端：vue + webpack + vue-router + echart
责任描述
负责搭建后端django业务架构；开发后台主要业务逻辑代码。
技术描述
1. 搭建基于mvc模式的基础架构，基于实际业务逻辑，进行业务拆分，解耦，提高系统的高可用性。
2. 使用celery + redis模式，构建后台定时任务和异步任务。
3. 负责开发任务管理，数据清洗，数据市场模块的增删改查业务接口逻辑实现。
4. 使用vue开发开发部分前端页面逻辑。
5. 使用Gunicorm 部署django后端服务，nginx部署前端业务代码。

企业内部知识资源分享平台
项目简介：
该平台主要用于知识技术，以及文件资源分享的综合平台。功能模块主要分为：用户管理，资源管理，收藏管理，权限管理。
技术栈
后端：tornado + mysql + nginx
前端：vue + webpack + vue-router
责任描述
参与需求评审，负责后端资源管理和收藏管理功能的api接口开发
技术描述
1. 使用orm实现资源管理和收藏管理功能的api接口的增删改查代码逻辑。


大数据爬虫监控平台
项目简介
该系统主要用于监控服务器上面的网络爬虫运行状况，实现全天24小时实时不间断监控爬虫。
该系统分为：服务器和爬虫管理，监控管理，日志和图表。
技术栈（前后端分离）
后端：django rest framework + websocket + mysql + nginx + gunicorm
前端：vue + webpack + vue-router + echart
责任描述
负责搭建后端基于mvc模式的django业务架构；研发后台部分业务逻辑代码。
技术描述
1. 负责搭建基础业务架构，以及集成websocket到django rest framework。
2. 开发监控管理模块的实时监控和报警通知等接口业务逻辑代码。
3. 使用vue开发开发部分前端页面逻辑。
4. 采用Gunicorm 部署django后端服务，nginx部署前端业务代码

爬虫系统架构和研发（企业工商，商标，专利数据采集）
项目简介
批量采集企业工商数据，商标，专利为广东国家税务局系统提供数据源，以便他们更精准构建企业画像，分析企业是否存在漏税逃税等情况。
技术栈
python + fiddler + re + xpath + Threadpoolexecutor(线程池) + Redis(消息队列) + MongoDB（数据存储）+ 代理ip池
责任描述
协同产品部进行爬取需求的调研，分析，然后进行爬虫架构和全部代码逻辑开发，全程参与架构开发爬取，最后数据清洗入库。
技术描述
1. 负责搭建分布式爬虫基础框架，包括反扒组件，下载器组件，页面数据解析组件，数据储存组件，数据去重组件，代理ip池组件等等。
2. 研究分析网站反扒情况，制定采集策略。
3. 研发爬虫主要代码逻辑，包括反扒组件，下载器组件，页面数据解析组件，数据储存组件
4. 服务器批量部署爬虫，以及后期爬虫监控维护等。