华为花瓣搜索内容审核项目 架构师
内容:
花瓣搜索(以下简称大搜)内容审核项目大搜安防支撑项目，主要功能是确保搜索结果符合当地法律法规。项目涵盖 URL 网址安全、离线文本审核、在线敏感词过滤、图片审核等多个领域。
我在项目中具体负责如下事务：
1. 作为架构师将项目划分为文本审核、图片审核与网址安全三大领域，整体采用spring-boot+python-flask+容器化技术栈开发，
依托华为云从0到1建设大搜审核能力。
2. 文本审核使用 spring-boot 开发，作为服务端调用 AI 模型对整张网页进行审核并给出对应的标签和置信值，采用容器化部署保
障高可用，支持滚动升级。
3. 图片审核使用 python-flask 开发，作为服务端调用 AI 模型对图片进行审核并给出对应的标签和置信值，采用容器化部署保障
高可用，支持滚动升级。
4. 网址安全使用 spring-boot 开发服务端，采用读写分离架构，写服务对接卡巴斯基、McAfee等安全检测服务，将 url 审核打分
后按照 hash 方式分布式存储于 PIKA 数据库中（360团队封装的 RocksDB ，采用 Redis 协议通信）供读服务使用，读服务则实现
了 url 模糊查询与联想能力，日均可承受千万级调用，SLA99.99%。
5. 敏感词过滤项目使用 spring-boot 开发，采用n-gram 算法（与 hanlp 原理相同）配合敏感词表对在线搜索内容（标题和环绕
文本）进行过滤筛选，敏感词表由管理服务生成，人工可干预存储在 MySQL 中的敏感词库对敏感词进行增删改查，词表发生更新
后会上传至华为云 OBS （一种分布式文件存储服务），提供给过滤服务更新，日均可承受千万级调用，SLA99.99%。
业绩:
从0到1构筑文本审核与图片审核两道防线，保大搜上线至今免于合规问题困扰, 项目所有成员因此荣获“消费者云服务总裁团队
奖”。
敏感词过滤与 url 审核两个服务日均千万级调用，服务 SLA 达到99.999%