1.国内大厂/MicroSoft Api 数据对接系统 : 根据不同数据来源定时获取不同类型的数据,例如从Ftp 获取Excel 抓取数据转Json,并通过token验证进行数据传输。并在不同系统直接搭建RabbitMQ消息队列来进行系统的解藕。
2.用scrapy对国内招聘网站和房屋交易网站进行分布式数据爬取,绕过反爬机制,实现随机User-Agent和随机Ip,并将获取的数据进行数据分析。(985研究生统计专业)
3.Crm 系统对公司业务数据进行可视化 展示,并增加数据手动补偿发送页面,整体数据结果一目了然。