1,基于flask的异步电商数据抓取系统---根据公司内部需求,抓取生意参谋部分品牌和品类的数据使用flask+celery+requests+redis作为后端实现异步执行爬虫,html5+jQuery+css作为前端入口页面的实现,并将入库的数据进行清洗,生成页面表格以及excel文档,并尝试进行了pyqt5实现桌面版应用
2,FRI分析系统---根据甲方公司要求,通过网络爬虫爬取各大美食团购网站的评论信息,分析目前大众舌尖上的美味使用scrapy框架,通过xpath提取数据少部分使用selenium配合无头浏览器进行抓取使用scrapy+redis组件实现分布式爬虫将数据简单处理存入mongodb
3,测试管理网站---根据公司内部需求,为测试人员自动生成测试报告,测试数据查询和缺陷录入,以及人员报工,自动发送风险邮件给指定人员,使用django+html5+css+jQuery