一、项目名称: 短信邮件告警和群消息机器人系统(Python,SQL)(2019/01-2019/03)
项目描述: 精细化运营系统的DB配置,任务调度,数据迁移和投放需要实时监督,保证系统正常运行,一旦出现异常才能及时处理,为了更快速地响应,
在服务器上编写了一套的python脚本轮询,发现问题会自动发送短信和邮件告警并使用消息机器人同步到工作群。
责任描述: 负责开发脚本,每小时轮询一次,主要使用了requests,MySQLdb库。
二、项目名称: 房价数据爬取系统(Python)(2017/07-2018/06)
项目描述: 由于公司是房价信息咨询机构,数据的准确性和全面性要求很高,为了适应公司业务上的发展,获取互联网主流的房地产网站免费数据,降低房价数据获取成本占数据总成本的比例,所以需要开发一套系统自动获取竞争对手的房价数据。 经过对需求的分析,设计了基于主流二手房网站爬取的系统。系统包括应用、爬虫插件和数据库。主要使用django和scrapy框架开发,数据存储在MySQL数据库。
责任描述: 负责各模块开发,实现每日上万条数据的抓取,并节省了原先支付给第三方数据服务公司的费用。