网聚宝crm系统会员筛选模块采用七十多个标签,筛选的范围包括场景筛选、基本属性、购物属性、RFM属性、行为属性、积分属性等等,各种标签可以任意组合,以及叠加,是否排除包含。底层数据到达40多亿,采用阿里drds分布式数据库策略。为了提高查询速率,底层采用lucence和solr的结合,以及阿里分析型数据库,对sql性能的要求非常高,多条件查询后台打印的solr查询语句和sql插叙语句达到一页多,目前到达的效果可保证在5s以内。
项目简介:
一、solr各个字段的设计,以及数据源字段的转换和计算。
二、数据迁移策略,制定线程方案,提升数据迁移速率,目前速度达到每秒百条。
三、查询条件解析为solr查询语。
四、分析型数据库ads的使用,任意条件查询sql的匹配。
五、二级查询缓存使用redis。
六、服务发布,多台服务器查询均衡。