背景:
从互联网上监测自媒体内容,对内容进行监控分析和查找。
职责:
1. 从互联网基于智能账号、关键词等方法每日最多采集对接亿级多媒体资源进行清洗、去重、唯一ID生成、下载、截帧、算法打标、入库等处理。并根据业务订阅条件计算出业务所需要数据返回给业务。
2. 为业务提供多媒体资源、账号、评论,账号关系提供查询能力。
3. 为业务提供统一的媒体资源下载、截帧、文件内容提取、存储等管理。
4. 为业务提供定制化采集能力,根据业务需要提供统一的采集接口。
业绩:
1.通过数据中台实现数据资源的集中化和统一化
2. 通过数据中台实现数据的共享,促进业务之间的协同和合作,避免重复工作,提高了研发效率
业绩:
1.从零搭建起数据中台,并支持各个项目稳定运行
2.优化代码提升数据处理两级提升10倍以上
3.优化技术方案,为项目减少每年100万机器费用