- 熟悉数据结构,计算机网络基础;
- 熟悉Java基础,理解面向对象编程思想,具有良好的编码习惯;
- 熟练使用Spring,SpringBoot开发框架;
- 熟练使用MySQL关系型数据库,了解其锁、事务以及索引;
- 熟练使用ES,Kafka,Redis等常用Web组件;
- 具备ClickHouse,Hive等数仓工具使用经历。
动态投放
2024年07月~至今
- 项目介绍
随着大模型,整个风控平台利用大模型预测能力赋能审核平台,审核员基于预测结果打事实标记,一方面提升审核员的审核效率;另一方面,利用人员判断反哺大模型,从而提升模型准确性。
为提升实时质检结果置信度,需要构建动态投放模块,实现动态投放,提升结果置信度
- 我的工作
- 投放预测:分析现有固定投放策略,发现现有策略有几个缺点,覆盖率不足、采样率不全、易感知作弊;因此,通过Hive统计审核规律,将规律数据导入至ClickHouse,使用定时任务按照固定时间窗口计算预算结果存入Redis;针对实际与预测之间差值采用窗口间补偿与窗口内补偿方式解决
- 投放策略:使用责任链模式构建领取环节,使用策略模式横行兼容新策略
- 监控告警:动态投放具备较强隐蔽性,任一环节阻塞都会导致投放失败,为了减轻运营维护成本,通过构建各环节核心指标监控,实现失败快速定位,投放不完提前预警
抽帧服务
2023年03月~至今
- 项目介绍
快手C端用户视频上传与新产品视频进审,都需要抽视频帧,抽帧服务负责接入抽帧请求,完成抽帧操作,返回抽帧结果
- 我的工作
- 抽帧接入:以Kafka承接抽帧请求,维护一个抽帧状态字段,将抽帧请求持久化至Kshard,发送请求消息至调度层Topic入口,通过定时任务针对异常状态请求做补偿动作
- 抽帧调度:采用策略模式,针对不同视频类型构造不同抽帧任务,使用Redis记录抽帧状态,统一提交至抽帧集群进行抽帧,后续监听抽帧结果Topic完成结果处理
- 抽帧稳定性:抽帧服务需要承载主站C端视频,稳定性显得尤为重要;
- 限流:接入层入口限流,保障整个服务的可用性
- 熔断:接入层写DB前熔断(可丢弃),接入层写DB后熔断(可接收延时)
- 备用链路:自建集群,针对实时性要求高且不可丢弃的请求,使用备用链路临时抽帧
质检平台
2022年09月~至今
- 项目介绍
质检平台承接快手视频、直播、用户、新产品等内容审核结果的质量评估工作,保障平台业务安全,促进生态健康发展。
- 我的工作
- 抽数模块:以构建通用、可配置、高稳定性的抽数能力为目标,基于定时任务实现周期自动化抽数,使用策略模式灵活组合配置条件并生成Hive SQL,通过限流、线程池机制减少任务争抢资源,抽数结束发送Kafka消息通知调用方使用RPC获取抽数结果
- 投放模块:构建推模式与拉模式两种投放方式,适配离线质检与实时质检两种质检场景,离线质检配置多样化策略进行全方位质量评估;实时质检具备实时特性,及时反映线上质量水平
- 统计模块:通过消息队列,异步消费质检结果,并按照单case、单人员维度统计;在Hive中构建质量底表,基于底表聚合成多指标中间表,将指标表同步至ClickHouse,搭建BI看板观测质量水位