亚马逊Alexa AI研究人员推QUADRo:超过44万个标注示例，增强QA系统的突破性资源

划重点:

- 🧠 人工智能和机器学习的能力使它们成功进入各行各业，尤其是大语言模型（LLMs）和问答系统的引入推动了人工智能社区的发展。

- 📘 提出了一个名为QUADRo的新型开放领域标注资源，旨在解决数据库问答系统中训练和测试数据不足的问题，提供了15，211个问题的30个相关问答对，总共超过44万个标注样本。

- 🛠 研究团队通过实验证明QUADRo在培训方法、输入模型配置和答案相关性等关键QA系统组件上的表现，为解决自动质量保证系统中的数据问题提供了有力支持。

人工智能（AI）和机器学习(ML)的能力使它们成功地渗透到几乎每个可能的行业。随着大语言模型(LLMs)和问答系统的引入，尤其是近年来，AI社区取得了巨大的进展。在自动问答(QA)系统的开发中，从包含问题-答案对的预先计算数据库中高效检索答案是一个常见的步骤。

研究指出了两种主要的QA范式:开放式书本和闭合式书本。开放式书本采用检索和阅读的两步过程，从庞大的文档语料库（通常是互联网）中获取相关材料，然后通过应用不同的模型和方法从获取的内容中提取解决方案。闭合式方法则更为最新，依赖于训练中学到的技能，这些模型通常基于Seq2Seq模型(如T5)，在不使用外部语料库的情况下生成结果。

图源备注：图片由AI生成，图片授权服务商Midjourney

尽管闭合式技术表现出色，但它们对许多工业应用来说过于资源密集，对系统性能构成重大风险。数据库问答（DBQA）是另一种方法，它从预生成的问题-答案对数据库中检索答案，而不依赖于模型或大型语料库参数中包含的信息。

然而，DBQA技术在检索和排名模型开发方面面临着重要的问题，主要是由于现有资源在范围和内容上的不足。为了克服这些挑战，一组研究人员提出了一个名为QUADRo的数据集和模型，用于问答数据库检索。这是一个新的、开放领域的标注资源，专门用于训练和评估模型。

QUADRo包含15，211个输入问题的每个问题都有30个相关的问答对，总计超过44万个标注样本。对每对的重要性进行了二进制指示，与输入查询的关系明确标记。

研究团队进行了深入的实验，评估了该资源在与QA系统组件的几个重要方面的质量和特性。这些元素包括培训方法、输入模型配置和答案的相关性。实验证明了该方法在检索相关响应方面的出色表现，通过检查在该数据集上训练的模型的行为和性能。

总的来说，这项研究通过引入一个有用的资源并对其属性进行仔细评估，解决了自动质量保证系统中训练和测试数据不足的问题。对培训策略和答案相关性等重要元素的强调有助于更全面地了解这一领域。

论文网址：https://www.amazon.science/publications/quadro-dataset-and-models-for-question-answer-database-retrieval