研究人员：矢量数据库并非是解决构建LLM内存不足的唯一方式

在过去的12个月里，矢量数据库的兴起使得解决语言模型长期记忆不足的问题成为热门话题。然而，研究人员提出了对这些矢量数据库常见方法的反思，并主张构建搜索引擎而非矢量数据库。

矢量数据库并非是解决内存不足问题的唯一方式，而是更像是一种特殊的搜索工具。以构建LLM（Large Language Models）驱动的文档体验为例，研究人员指出将所有文档嵌入矢量数据库并进行矢量搜索的方法存在问题，因为矢量搜索仍可能产生与传统搜索相同的问题，如结果中包含不相关或缺失的文档。

建议的替代方案是首先构建一个足够好的搜索引擎，使其适用于人类使用。利用嵌入技术，特别是结合关键词搜索和矢量搜索，可以显著提高搜索性能。文章强调了现代AI的进展使得构建先进搜索引擎变得更加容易，成本更低。

最终阶段是对传统搜索流程进行重新排名。通过使用LLMs，可以通过将查询-结果对提供给模型来进行重新排名，而无需像以前那样专门构建一个排名模型。这使得构建先进搜索引擎的回报非常高。

研究人员提到了部署搜索引擎后需要解决的问题，即如何评估搜索引擎的性能。这包括回答关于何时进行搜索、实际定位的内容以及内容在结果中的排名等问题。作者建议构建评估和监控基础设施，以便迭代搜索流水线并知道所做的更改是否是改进。