wyh_Kroos

软件算法工程师
高通 · 4年经验
wyh_Kroos
日薪: ¥700/8h
地点: 上海 浦东
时间: 下班后周日
ID:421501 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | FastAPI 分布式 Python OpenCV LangChain LLM 深度学习 Docker CI/CD Selenium
核心算法与数学基础
数据结构与算法
线性代数、概率统计(图像/AI 的底层语言)
优化理论(梯度下降、凸优化)

图像处理方向
OpenCV 经典算法(特征提取、目标检测、图像分割)
深度学习视觉模型:CNN、ViT、YOLO、SAM
图像生成:Diffusion Model(SD、FLUX)

AI Agent 方向
LLM 原理与使用(Prompt Engineering、RAG、Fine-tuning)
Agent 框架:LangChain、LlamaIndex、AutoGen、MCP
工具调用(Function Calling)、多 Agent 协作
向量数据库:Faiss、Chroma、Milvus

自动化工程能力
爬虫与反爬:Selenium、Playwright、requests + 逆向
任务调度:Celery、APScheduler、Airflow
RPA 工具集成能力

工程化能力(算法工程师的短板区)
Python 高性能编程 算法落地的效率瓶颈
API 设计(FastAPI) 把算法包装成服务
Docker + CI/CD 模型/服务可复现部署
分布式任务处理 大规模自动化的基础
数据库设计 工程项目必须
差异化竞争力(建议重点投入)

GUI 自动化 Agent:用视觉模型理解屏幕,替代传统 RPA
多模态 Agent:图文理解 + 工具调用,处理复杂业务流
工业视觉 + 自动化流水线:检测结果直接驱动后续动作

智能图像质量评估与参数自动调试系统
项目背景
在工业生产、医疗影像、卫星遥感、半导体检测等高精度场景中,图像采集设备(工业相机、显微镜、X光机、扫描仪等)的成像质量直接决定下游检测、分析任务的准确性。

传统流程中,设备参数调试(曝光、增益、焦距、光源强度、帧率等)高度依赖人工经验,存在以下痛点:

参数空间维度高(单台设备可达数十个参数),人工调试耗时数小时乃至数天
不同批次物料、环境光变化导致参数频繁漂移,需反复人工干预
多设备协同场景下,参数组合爆炸,经验难以迁移
图像质量评估标准不统一,主观判断引入误差
本项目旨在构建一套端到端的 AI 智能体系统,实现图像采集设备的自动化控制、图像质量的工业级客观评估,以及基于知识库的参数智能决策,将调试周期从小时级压缩到分钟级。

项目作用
受益方 价值
设备调试工程师 从重复性手工调参中解放,专注于异常处理和规则沉淀
生产线 换线切换时间大幅降低,良品率提升
质检体系 图像质量有客观量化指标,可追溯、可审计
知识管理 历史调参经验结构化沉淀,形成企业知识资产
系统功能
1. 设备自动化控制层
统一抽象接口,适配异构设备(GigE、USB3 Vision、Camera Link、MIPI 等协议)
基于 GenICam / SDK 的参数读写自动化
多设备并发控制与同步触发
设备状态监控与异常自动恢复
2. 工业级图像质量评估引擎
无参考质量评估(NR-IQA):不依赖标准图,直接输出质量分
多维度指标计算:
清晰度(Laplacian 方差、Tenengrad、MTF)
噪声水平(SNR、PSNR、暗电流噪声)
曝光合理性(直方图分析、过曝/欠曝检测)
色彩/灰度均匀性
畸变与几何误差
目标场景相关质量(针对具体检测对象的自定义指标)
综合评分模型(可训练的加权融合或深度 IQA 模型)
质量报告自动生成
3. RAG 知识库
收录历史调参记录(设备型号 × 场景 × 参数组合 × 质量结果)
收录设备手册、应用笔记、厂商最佳实践文档
向量化存储,支持语义检索
持续学习:每次调试结果自动回写知识库
4. LLM 决策 Agent
接收当前质量评估结果 + 设备状态作为上下文
检索 RAG 知识库获取相似历史案例
生成参数调整方案(Chain-of-Thought 推理过程可解释)
多轮闭环调整(评估 → 决策 → 执行 → 再评估)
支持人工介入确认关键决策节点
5. 管理与监控后台
调参过程可视化(参数轨迹、质量曲线)
多设备任务管理
知识库管理(查询、编辑、版本控制)
历史任务回放与分析
技术难点
难点一:无参考图像质量评估的工业级可靠性
问题本质:通用 IQA 指标(如 BRISQUE)在自然图像上表现尚可,但在工业场景(PCB、晶圆、金属表面)上与人工专家评分相关性极差。

挑战:

工业图像纹理单一,通用特征失效
不同缺陷类型对"质量好坏"的定义不同(螺纹件的锐度权重与色差件不同)
标注数据稀缺,难以训练大规模有监督模型
应对方向:

基于场景的指标自适应加权(元学习)
结合小样本学习构建场景特定评估模型
引入 CLIP 等多模态模型做零样本质量判断
难点二:高维参数空间的高效探索
问题本质:单台设备参数维度可达 20~50,参数间存在强耦合(曝光↑则噪声↑但清晰度↑),构成非凸、非线性的优化问题。

挑战:

穷举不可行,随机搜索收敛慢
每次参数变更需等待设备响应 + 图像采集 + 质量评估,单步耗时秒级
质量函数无法求导
应对方向:

贝叶斯优化(BO)作为探索策略,减少评估次数
RAG 检索历史相似场景,用作 BO 的先验初始化(热启动)
LLM 做高层次参数分组决策,BO 在组内做精细搜索(分层优化)
难点三:RAG 在专业领域的检索精度
问题本质:调参知识高度结构化(数值型参数 + 设备型号 + 场景描述),纯向量语义检索在数值条件匹配上效果差。

挑战:

"曝光 500μs 下的调参记录" 与 "曝光 50μs 下的记录" 语义相近但参数差异大
设备型号、固件版本的细微差异影响参数迁移可行性
知识库随时间积累体量增大,检索延迟上升
应对方向:

混合检索:向量检索(语义)+ 结构化过滤(数值范围、设备型号精确匹配)
知识条目设计为结构化 + 文本混合格式
构建设备谱系图谱,辅助跨型号知识迁移的可信度评估
难点四:LLM 决策的可靠性与可解释性
问题本质:LLM 幻觉在工业场景代价极高,输出错误参数可能损坏设备或产生大
wyh_Kroos ID:421501 复制

wyh_Kroos

软件算法工程师 · 4年经验 · 高通
城市上海 浦东 日薪700元/8h 时间 下班后周日
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | FastAPI 分布式 Python OpenCV LangChain LLM 深度学习 Docker CI/CD Selenium
核心算法与数学基础
数据结构与算法
线性代数、概率统计(图像/AI 的底层语言)
优化理论(梯度下降、凸优化)

图像处理方向
OpenCV 经典算法(特征提取、目标检测、图像分割)
深度学习视觉模型:CNN、ViT、YOLO、SAM
图像生成:Diffusion Model(SD、FLUX)

AI Agent 方向
LLM 原理与使用(Prompt Engineering、RAG、Fine-tuning)
Agent 框架:LangChain、LlamaIndex、AutoGen、MCP
工具调用(Function Calling)、多 Agent 协作
向量数据库:Faiss、Chroma、Milvus

自动化工程能力
爬虫与反爬:Selenium、Playwright、requests + 逆向
任务调度:Celery、APScheduler、Airflow
RPA 工具集成能力

工程化能力(算法工程师的短板区)
Python 高性能编程 算法落地的效率瓶颈
API 设计(FastAPI) 把算法包装成服务
Docker + CI/CD 模型/服务可复现部署
分布式任务处理 大规模自动化的基础
数据库设计 工程项目必须
差异化竞争力(建议重点投入)

GUI 自动化 Agent:用视觉模型理解屏幕,替代传统 RPA
多模态 Agent:图文理解 + 工具调用,处理复杂业务流
工业视觉 + 自动化流水线:检测结果直接驱动后续动作

项目经验

智能图像质量评估与参数自动调试系统
项目背景
在工业生产、医疗影像、卫星遥感、半导体检测等高精度场景中,图像采集设备(工业相机、显微镜、X光机、扫描仪等)的成像质量直接决定下游检测、分析任务的准确性。

传统流程中,设备参数调试(曝光、增益、焦距、光源强度、帧率等)高度依赖人工经验,存在以下痛点:

参数空间维度高(单台设备可达数十个参数),人工调试耗时数小时乃至数天
不同批次物料、环境光变化导致参数频繁漂移,需反复人工干预
多设备协同场景下,参数组合爆炸,经验难以迁移
图像质量评估标准不统一,主观判断引入误差
本项目旨在构建一套端到端的 AI 智能体系统,实现图像采集设备的自动化控制、图像质量的工业级客观评估,以及基于知识库的参数智能决策,将调试周期从小时级压缩到分钟级。

项目作用
受益方 价值
设备调试工程师 从重复性手工调参中解放,专注于异常处理和规则沉淀
生产线 换线切换时间大幅降低,良品率提升
质检体系 图像质量有客观量化指标,可追溯、可审计
知识管理 历史调参经验结构化沉淀,形成企业知识资产
系统功能
1. 设备自动化控制层
统一抽象接口,适配异构设备(GigE、USB3 Vision、Camera Link、MIPI 等协议)
基于 GenICam / SDK 的参数读写自动化
多设备并发控制与同步触发
设备状态监控与异常自动恢复
2. 工业级图像质量评估引擎
无参考质量评估(NR-IQA):不依赖标准图,直接输出质量分
多维度指标计算:
清晰度(Laplacian 方差、Tenengrad、MTF)
噪声水平(SNR、PSNR、暗电流噪声)
曝光合理性(直方图分析、过曝/欠曝检测)
色彩/灰度均匀性
畸变与几何误差
目标场景相关质量(针对具体检测对象的自定义指标)
综合评分模型(可训练的加权融合或深度 IQA 模型)
质量报告自动生成
3. RAG 知识库
收录历史调参记录(设备型号 × 场景 × 参数组合 × 质量结果)
收录设备手册、应用笔记、厂商最佳实践文档
向量化存储,支持语义检索
持续学习:每次调试结果自动回写知识库
4. LLM 决策 Agent
接收当前质量评估结果 + 设备状态作为上下文
检索 RAG 知识库获取相似历史案例
生成参数调整方案(Chain-of-Thought 推理过程可解释)
多轮闭环调整(评估 → 决策 → 执行 → 再评估)
支持人工介入确认关键决策节点
5. 管理与监控后台
调参过程可视化(参数轨迹、质量曲线)
多设备任务管理
知识库管理(查询、编辑、版本控制)
历史任务回放与分析
技术难点
难点一:无参考图像质量评估的工业级可靠性
问题本质:通用 IQA 指标(如 BRISQUE)在自然图像上表现尚可,但在工业场景(PCB、晶圆、金属表面)上与人工专家评分相关性极差。

挑战:

工业图像纹理单一,通用特征失效
不同缺陷类型对"质量好坏"的定义不同(螺纹件的锐度权重与色差件不同)
标注数据稀缺,难以训练大规模有监督模型
应对方向:

基于场景的指标自适应加权(元学习)
结合小样本学习构建场景特定评估模型
引入 CLIP 等多模态模型做零样本质量判断
难点二:高维参数空间的高效探索
问题本质:单台设备参数维度可达 20~50,参数间存在强耦合(曝光↑则噪声↑但清晰度↑),构成非凸、非线性的优化问题。

挑战:

穷举不可行,随机搜索收敛慢
每次参数变更需等待设备响应 + 图像采集 + 质量评估,单步耗时秒级
质量函数无法求导
应对方向:

贝叶斯优化(BO)作为探索策略,减少评估次数
RAG 检索历史相似场景,用作 BO 的先验初始化(热启动)
LLM 做高层次参数分组决策,BO 在组内做精细搜索(分层优化)
难点三:RAG 在专业领域的检索精度
问题本质:调参知识高度结构化(数值型参数 + 设备型号 + 场景描述),纯向量语义检索在数值条件匹配上效果差。

挑战:

"曝光 500μs 下的调参记录" 与 "曝光 50μs 下的记录" 语义相近但参数差异大
设备型号、固件版本的细微差异影响参数迁移可行性
知识库随时间积累体量增大,检索延迟上升
应对方向:

混合检索:向量检索(语义)+ 结构化过滤(数值范围、设备型号精确匹配)
知识条目设计为结构化 + 文本混合格式
构建设备谱系图谱,辅助跨型号知识迁移的可信度评估
难点四:LLM 决策的可靠性与可解释性
问题本质:LLM 幻觉在工业场景代价极高,输出错误参数可能损坏设备或产生大
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏