● 警务政务门户推荐系统
项目介绍: 基于协同过滤的警务政务推荐系统,收集用户操作轨迹,为用户的日常工作提供建议
1. 基础数据服务建设
◆ 服务门户推荐逻辑开发,数据提取处理,为推荐系统提供政务门户专业基础服务数据
2. 用户数据分析,用户行为画像建立
◆ User Cluster精品图推荐引擎,用户、物品特征数据聚类处理,推荐候选集入库(Redis)
3. 个性化私人服务推荐
◆ 提取tag分词,准备用户推荐行为及物品特征数据,用户User Service偏好预测User Model建模
职责描述:
◆ 1. 参与数据中心设计与搭建、警务推荐系统架构设计相关工作
◆ 2. 参与开发离线MR计算,实现协同过滤CB、CF算法对用户行为数据挖掘
◆ 3. 采用机器学习算法对用户偏号预估的Ranking Model模型打分,数据包装检索推荐
● 大数据网站日志分析系统
项目介绍:收集Web服务日志,提供日志分析服务,获取网站流量,提供网站分析数据依据,提升网站用户体验
1. 网站离线分析,掌握流浪规律,优化网站结构和内容
◆ 采用MapReduce、HDFS、Hive等组件实现离线日志分析业务框架
◆ Nginx收集日志原始数据,原数据预处理与提取,定制数据持久化存储任务
2. 网站实时分析,分析网站访问在线状况,及时发现异常
◆ 采用Spark Streaming、HBase、Flume等组件搭建实时日志系统架构
◆ 设计采集日志数据进行清洗和转换,日志数据推送,实现对用户多维度统计分析和平台数据可视化