谱声 / Notura —— 本地光学乐谱识别(OMR)App
【是什么】
Flutter 跨平台应用(Android / iOS / 鸿蒙),拍下纸质乐谱即在手机本地识别成可播放的乐谱,全程离线,图片不上传云端。
【详细功能】
采集与矫正:应用内相机连续拍多页(每批≤20页)、相册批量导入;四角定位+透视/旋转矫正,可选拍屏幕摩尔纹处理;原图单独归档,识别框与播放指针统一对应矫正图。
符号检测:YOLO26s 端到端模型(137 类、NMS-Free、1280×1280 等比输入),整页检测+切片补检;CV 后处理做谱线定位、符干结构组装、灰色细符干时值恢复、缺谱表与缺括号结构推断。
乐理解析:谱号/调号作用域、音高与时值(符梁、附点、符尾、和弦)、连音与跨系统续接、拍号与变拍、反复记号生成播放序列;不确定的关系保留警告,不硬凑拍、不造音符。
播放:SoundFont 本地合成(GeneralUser 主库),支持调速换音色、点击谱面跳转、指针跟随与缩放;解析在后台 isolate 执行,可取消并丢弃过期结果。
管理与导出:本地乐谱库、MusicXML 导出与分享、矫正图保存到相册、明暗主题与玻璃界面。
【我的角色】
独立开发全流程:需求与交互设计、模型选型与端侧部署、CV 与音乐规则引擎、三端适配(含鸿蒙 MNN 与原生相机/音频桥接)、测试体系与打包发版。
【可验证成果】
开发样本 3500 个音符事件准确率 72.89% → 88.20%(非盲测);Flutter 回归测试 472 项通过、24 项按真实样本条件跳过;三端产物均可打包运行。复杂多声部、书页弯曲、强反光照片仍有解析偏差,保留人工确认与警告。
【检索关键词】
乐谱识别、光学音乐识别、OMR、五线谱识别、乐谱转 MIDI、YOLO 目标检测、ONNX Runtime、MNN、端侧 AI 推理、Flutter 跨平台、鸿蒙 HarmonyOS、计算机视觉图像矫正、摩尔纹去除、MusicXML、SoundFont 音频合成、离线隐私、独立开发者
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者