本项目包含人脸检索系统和发票税票OCR识别两大模块,服务于金融报税系统中的身份验证和票据数字化场景。
人脸检索系统:复现并训练RetinaFace人脸检测模型,针对开源算法中动物脸误检问题进行改进优化,使动物脸误检率降至0.5%以下。使用亚洲人脸数据集重新复现ArcFace、CosFace人脸识别模型训练,提取512维人脸特征向量,通过余弦相似度匹配实现以图搜图功能。添加InsightFace中的表情识别模型,丰富系统能力。
OCR文字识别:针对税票、发票、广告文本等场景,改进EAST文字检测算法的Loss函数,在全连接层输出边界点并取边界平均中值,解决长文本文字边界提取不准确的问题。网络结构采用上采样方式获取更多特征组合可能性。识别后进行结构化字段提取,输出发票号码、金额、日期、税号等关键信息。
模型加速:将所有模型转化为ONNX格式并生成TensorRT引擎加速推理,从PyTorch原始模型的85ms优化至TensorRT INT8量化的15ms,实现5.7倍加速。
本人角色:担任架构师,负责RetinaFace/ArcFace模型复现训练改进、EAST算法优化、ONNX/TensorRT推理加速全流程。
技术栈:RetinaFace、ArcFace、CosFace、EAST改进版、CRNN、ONNX、TensorRT、PyTorch