谷歌Gemini1.5新功能揭秘:上下文挑战重现准确性

近日，Google Gemini1.5推出了一项令人瞩目的技术突破，该版本引入了一个拥有高达一百万个令牌的上下文窗口功能。这项新功能旨在处理完整的书籍甚至电影，其准确性关注。

尽管Gemini1.5的上下文窗口容量庞大，但可能仍存在不准确再现信息的可能性。在“海底捞针”测试中，该系统需要提取多达100条特定信息，但平均准确度仅在60%至70这项任务相对于复杂文档的摘要撰写而言仍然要简单一些。

值得一提的是，在谷歌对维克多·雨果的《悲惨世界》进行的更复杂的测试中，他们提出了100个问题，共涉及710，000个标记，并使用“归因于已识别来源”的方法进行答案评估。结果显示，在人工评估中，80% 的答案可归因于源文档，而在机器评估中则有91% 的答案可归因于源文档。然而，这一基准倾向目前的权威及其与原著作者之间存在细微的差异。

在“大海捞针”测试中，模型必须在上下文窗口中找到一条信息。这与LLM的实际应用场景关系不大。 |图片:谷歌

尽管社交媒体上对Gemini1.5的积极评价络并不绝，但即将对其准确性进行更深入的评估。大多数评论焦点于功能测试，缺乏对源材料的深入了解。如果信息检索的可信度不高，即使在复杂的查询下，巨大的上下文窗口可能仍然存在问题。

可见， Gemini1.5Pro 提供了令人印象深刻的技术突破，但在实践中，提取复杂的信息仍然是一个挑战。如果其可靠性低于90%，那么实际中的巨大容量的上下文窗口运用中可能并不具备专业的帮助。