基于动态低秩适配器的Transformer架构的图像去雨系统
项目主负责人
2024/09 - 2025/09
运用手段:创新性地将动态低秩压缩技术与Transformer架构结合 ,设计了可感知输入图像复杂度的秩控制器及两阶段训练策略。
解决问题:解决了传统去雨模型在复杂多变天气场景下计算资源消耗大、无法在精度与效率间自适应平衡的痛点。
获得结果:在Rain200L/H等数据集上 ,本模型的PSNR与SSIM指标相较于原模型均有显著提升 ,达到了行业SOTA水平。同时 ,通过动态计算优化 ,推理速度最高提升60%。
体现价值:为计算机视觉领域任务中的模型轻量化与边缘部署提供了一个新颖且有效的“动态资源分配”解决方案 ,相关技术已申请发明专利。
基于双重稀疏表示网络的单幅图像去雨模型算法研究
核心开发者
2025/09 - 至今
1. 算法创新与模型设计: 提出了双重稀疏表示网络。核心创新包括:
. 双重约束引导稀疏注意力模块: 设计了融合通道维度多比例Top-K稀疏与空间维度多尺度显著性约束的机制 ,实现了注意力计算资源向关键雨纹区域和特征的动态精准分配 ,取代了被动的计算节省策略。
. 多尺度门控前馈网络: 设计了并行多分支深度卷积与自适应门控融合结构 ,显著增强了对图像中多尺度雨纹与背景细节的联合建模与重建能力。
. 网络架构: 基于对称的U-Net编码器-解码器架构集成上述模块 ,构建了完整的DSRNet模型。
2. 工程实现与实验验证:
· 使用PyTorch框架完整实现了DSRNet模型 ,包括自定义注意力模块、前馈网络及训练流水线。
. 在多个标准合成与真实场景数据集上进行了系统训练与测试。
采用峰值信噪比与结构相似性作为核心评估指标 ,与包括Uformer 、SwinIR 、Restormer 、DRSformer在内的10余种主流方法进行了详尽的定量与定性对比。
. 设计了严格的消融实验 ,验证了所提两个核心模块各自的有效性及其协同作用。