我独立负责全流程:从数据管线、模型设计、训练调参到推理封装和可视化,完整跑通「数据 → 标签 → 训练 → 推理 → 还原」整个流程。
技术栈:Python、PyTorch、ResNet34 主干、DETR 式非自回归解码、2D 正弦位置编码、HTML/Word 表格重建。
架构:896 的输入图像先经过 ResNet34(步长 /32,得到 784 个视觉 token),加上 2D 正弦位置编码后,交给 500 个可学习 query 并行解码(2 层共享加双支路分叉),再输出 500×8 的结构标签和 500×4 的框。不做自回归,不逐 token 递归,一次前向就出全部结果。
亮点:① 把原 TableMaster 的 43 类 token 体系(里面含 colspan=“2” 这种带数字参数的 token)压缩成 8 类纯网格标签,合并信息改用 span、lcel、ucel、xcel 在空间上的分布来隐式表达,序列长度严格等于 rows×(cols+1)+1,可以直接 reshape 成网格;② 在同数据、同参数、同 epoch 的对照实验里,标签简化后「整表结构全对」从 51.50% 提升到 56.50%,框命中率从 53.76% 提升到 68.15%;③ 损失只在有效位置计算(CE + L1 + GIoU),权重用 strict=True 加载,配置在启动时就校验,保证实验可复现。
难点:无线表格的边界不在像素上,而在语义里;并且 53% 的单元格宽度不到输入图的 5%,降采样之后边界被平均掉,这是框不准的物理根源,光靠加大模型解决不了。合并区的左上角定位,以及 lcel、xcel 的混淆,是目前主要的错误来源。
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者