诸葛找房隆中库项目:
数据处理模块
1. 数据库设计及优化
2. 使用自主开发的ETL框架对爬取过来的多源多格式非结构化的新房&二手房建委交易数据进行抽取、转换、格式化等数据清洗,标准化之后存入mysql。
3. 为了使挂牌数据可以在时间轴上进行多维度的详细统计,对数据进行冷热分离。
4. 对多维度数据进行预计算pika缓存, mysql容灾。
API开发模块:
1. 采用Tornado自主研发的通用型异步框架,前端请求 => 路由层 => 控制层 => 业务层 => 执行层,并且在执行层设有工具层,封装日志模块&缓存模块,数据预计算后存入pika, 直接查询