Hadoop大数据处理用户的行为痕迹记录

企业服务 · 数据服务 案例ID: 199630
联系该工程师
微信扫码,建群沟通
作者: 刘俊龙 - 1年经验- 湖南大学

案例介绍

1)根据实际的应用需求与服务器属性配置调整优化Hadoop中节点的部署,通过Java编写Job函数与Map函数和Reduce函数分布式处理用户行为痕迹记录数据;
2)模拟前端不同速度提交用户行为数据,尤其是大并发量提交的情况下,动态调整Map和Reduce的数量,提高计算节点的适应性和运行效率,从而使应用程序既能在此环境下快速有效运行得出所有用户观看视频时操作行为的汇总数据,又不会过于频繁启动,造成资源浪费;
3)测试计算节点的用户行为数据处理速度,调整计算节点处理数据分片大小,增强程序适应性。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
微信沟通 联系需求方端客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×