谷歌AI提出MathWriting:整合人工书写和合成数据集等改变手写数学表达式识别

划重点:

⭐ 谷歌 AI 发布 MathWriting 数据集，为在线手写数学表达提供230k 人工编写和400k 合成样本，成为 ME 识别新标杆

⭐ MathWriting 数据集比 CROHME23具有更多样本和标签，包括广泛的数学符号和语法标记

⭐ MathWriting 支持训练模型、评估性能，并提供未来发展方向的参考

近年来，在线文本识别模型取得了显著进展，但数学表达（ME）识别作为更为复杂的任务仍未得到足够关注。

谷歌研究团队推出了 MathWriting，一个专注于在线手写数学表达的数据集，包含230k 人工编写和400k 合成样本，超越了类似 IM2LATEX-100K 的离线 HME 数据集。与其他在线数据集兼容，MathWriting 以 InkML 格式共享，并通过栅格化墨迹有效扩展了离线 HME 数据集。这一举措为 ME 识别引入了新的标准，提供了标准化的真实表达以简化训练和强化评估，同时在 GitHub 上提供代码示例以便于使用。

与 CROHME23相比，MathWriting 样本数量几乎是其近3.9倍，标签数量经过归一化后增加了4.5倍。MathWriting 不仅具有更多人工编写的墨迹，还提供了更广泛的符号范围，包括大部分希腊字母和矩阵等，从而能够代表量子力学、微积分和线性代数等各种科学领域。

MathWriting 数据集包括253k 人工编写表达和6k 孤立符号用于训练、验证和测试，同时还有396k 合成表达。发布在知识共享许可下，以 LATEX 标准化注释作为真实标准，基于 MathWriting 的测试部分，使用字符错误率（CER）指标构建手写数学表达识别基准。各种识别模型，包括 CTC Transformer 和 OCR，展示了数据集的实用性。数据收集涉及人类贡献者通过 Android 应用程序复制渲染表达式，随后经过最少的后处理和标签归一化以提高模型性能。

MathWriting 数据集相比 CROHME23提供了手写数学表达的详细信息，包括广泛的标签和墨迹统计，为了多样性提供了宝贵信息。尽管存在识别挑战，但 MathWriting 是训练和评估手写识别模型的全面资源，为了提供对真实识别场景的见解。

MathWriting 具有广泛的应用，支持跨科学领域的识别训练，并能够生成合成表达式。与 CROHME23等数据集的整合有望提高模型性能和多样性。边界框数据有助于生成合成墨迹，可能为更自然的合成改进 LATEX 的严格结构。此外，还提供了用于 UI 功能的字符分割途径。未来的研究可以专注于优化训练 / 验证 / 测试分割以及开发针对数学表达的语言模型。

论文：https://arxiv.org/abs/2404.10690