TableDETR:表格结构识别

企业服务 云计算 案例ID:256310
琼
12 年经验· BYD huawei cnooc
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

我独立负责全流程:从数据管线、模型设计、训练调参到推理封装和可视化,完整跑通「数据 → 标签 → 训练 → 推理 → 还原」整个流程。

技术栈:Python、PyTorch、ResNet34 主干、DETR 式非自回归解码、2D 正弦位置编码、HTML/Word 表格重建。

架构:896 的输入图像先经过 ResNet34(步长 /32,得到 784 个视觉 token),加上 2D 正弦位置编码后,交给 500 个可学习 query 并行解码(2 层共享加双支路分叉),再输出 500×8 的结构标签和 500×4 的框。不做自回归,不逐 token 递归,一次前向就出全部结果。

亮点:① 把原 TableMaster 的 43 类 token 体系(里面含 colspan=“2” 这种带数字参数的 token)压缩成 8 类纯网格标签,合并信息改用 span、lcel、ucel、xcel 在空间上的分布来隐式表达,序列长度严格等于 rows×(cols+1)+1,可以直接 reshape 成网格;② 在同数据、同参数、同 epoch 的对照实验里,标签简化后「整表结构全对」从 51.50% 提升到 56.50%,框命中率从 53.76% 提升到 68.15%;③ 损失只在有效位置计算(CE + L1 + GIoU),权重用 strict=True 加载,配置在启动时就校验,保证实验可复现。

难点:无线表格的边界不在像素上,而在语义里;并且 53% 的单元格宽度不到输入图的 5%,降采样之后边界被平均掉,这是框不准的物理根源,光靠加大模型解决不了。合并区的左上角定位,以及 lcel、xcel 的混淆,是目前主要的错误来源。

TableDETR:表格结构识别

企业服务 · 云计算 案例ID:256310
联系该工程师
微信扫码,建群沟通
作者: 琼 - 12年经验- BYD huawei cnooc

案例介绍

我独立负责全流程:从数据管线、模型设计、训练调参到推理封装和可视化,完整跑通「数据 → 标签 → 训练 → 推理 → 还原」整个流程。

技术栈:Python、PyTorch、ResNet34 主干、DETR 式非自回归解码、2D 正弦位置编码、HTML/Word 表格重建。

架构:896 的输入图像先经过 ResNet34(步长 /32,得到 784 个视觉 token),加上 2D 正弦位置编码后,交给 500 个可学习 query 并行解码(2 层共享加双支路分叉),再输出 500×8 的结构标签和 500×4 的框。不做自回归,不逐 token 递归,一次前向就出全部结果。

亮点:① 把原 TableMaster 的 43 类 token 体系(里面含 colspan=“2” 这种带数字参数的 token)压缩成 8 类纯网格标签,合并信息改用 span、lcel、ucel、xcel 在空间上的分布来隐式表达,序列长度严格等于 rows×(cols+1)+1,可以直接 reshape 成网格;② 在同数据、同参数、同 epoch 的对照实验里,标签简化后「整表结构全对」从 51.50% 提升到 56.50%,框命中率从 53.76% 提升到 68.15%;③ 损失只在有效位置计算(CE + L1 + GIoU),权重用 strict=True 加载,配置在启动时就校验,保证实验可复现。

难点:无线表格的边界不在像素上,而在语义里;并且 53% 的单元格宽度不到输入图的 5%,降采样之后边界被平均掉,这是框不准的物理根源,光靠加大模型解决不了。合并区的左上角定位,以及 lcel、xcel 的混淆,是目前主要的错误来源。

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×