广电用户收视行为大数据分析系统
项目描述:
该系统基于广电数字电视终端上报日志与服务器操作日志,利用大数据采集、存储(Hadoop体系)、分析技术(spark体系),对用户收视行为进行深度的、多维度的分析,指在为广电运营决策提供科学可靠的数据支撑。
系统从架构上分为数据采集、行为分析及数据可视化三个大的模块(子系统),行为分析模块充分利用了大数据技术,是项目的核心部分;从功能上提供了离线业务报表(频道统计、点播统计、回看统计、时移统计等)、用户画像、业务实时分析、广告曝光统计等等。
技术关键字:hadoop,spark,hbase,phoenix,hive,kafka,scala,java,mysql,redis,ES
责任描述:
1.参与系统架构设计与核心代码开发
2.担任大数据组组长,负责项目组技术管理
3.与产品经理共同推进大数据系统产品化
4.重点省网、地市网技术支持与需求沟通