依一带你探索大语言模型的智能涌现能力

导读：大型语言模型是一个特别有趣的案例研究，因为它们已经显示出非常明显的智能涌现现象。LLM 是非常大的transformer 神经网络，通常跨越数千亿个参数，在少量的文本数据上进行训练，可用于范围广泛的任务，包括文本生成、问答、摘要等。目前，判别LLM是否已经具有智能涌现能力，我们首先就如何界定智能涌现并给出可重复涌现实例达到共识。

今天，依一就带大家一起来探索大语言模型（LLM）是否会#智能涌现#相关问题。

智能涌现

在物理学、生物学和计算机科学等领域长期讨论的智能涌现现象是否已经出现，目前仍存在普遍争议。1972年，诺贝尔奖获得者物理学家菲利普安德森在《科学》周刊上发表一篇题为“More Is Different”的文章中，讨论了量变可能导致质变和意想不到的#智能涌现#。

受安德森工作的启发，加州大学伯克利分校教授雅各布·斯坦哈特 (Jacob Steinhardt)将涌现定义为“当系统中的量变导致行为发生质变时”。

为了识别大型语言模型中的涌现能力，研究人员寻找相变，在一定规模阈值以下，模型性能接近随机，而超过该阈值，性能远高于随机。这将涌现能力与随规模平稳提升的能力区分开来：预测涌现能力何时出现要困难得多。因为规模可以用不同的方式衡量，包括计算 (FLOPs)、模型大小（参数数量）或数据大小。

由于我们想提供一个更精确的定义，因此，依一这里将涌现能力定义为“不存在于较小模型中但存在于较大模型中’的能力”。

造词

造新词是一个常见的具有创造性的智力任务。今天我们就来看看Claude如何完成相关造新词的任务的，以及是否会智能涌现。

实验准备。首先，我们先来了解一些实验的背景知识。

“Supercalifragilisticexpialidocious” 是1964年迪士尼音乐电影Mary Poppins中的一首歌曲和单曲。它由谢尔曼兄弟创作，由朱莉·安德鲁斯和迪克·范·戴克演唱。它也出现在2004年的舞台剧版中。因为《欢乐满人间》是1910年的一段时期作品，所以需要听起来与那个时期的歌曲相似的歌曲。电影版在AFI 的100 年历史上100首美国电影热门歌曲榜单（AFI's 100 Years...100 Songs）中名列第 36 位。

有兴趣的网友可以关注我整理的视频（西瓜视频@YiyiKing，https://www.ixigua.com/7235889781119549989）。该视频来自Walt Disney Productions，包含《欢乐满人间》（Mary Poppins）中的歌曲“Supercalifragilisticexpialidocious”，采用数字修复和重新灌录形式，取自电影 2013 年发行的 DVD。https://www.ixigua.com/7235889781119549989

简言之，supercalifragilisticexpialidocious是一个虚构的英语词，没有确切的中文意思。它由许多英语词的片段拼接而成，意在发挥语言的聲韻之美，表达一种轻快活泼的心情和意境。通过其音节的组合和发音，在语言形式上构造出一种轻快活泼的效果和意境。它通常用于描述一些在音乐性、节奏性和动态性方面都富有魅力的事物，用语言营造出一种俏皮玩味的氛围和心情。所以在理解和翻译这个字时，需要着眼于表达其在审美形式和意境上的效果，而不必钻研其空无的语义。

例句:The supercalifragilisticexpialidocious song and dance number was a highlight of the show. （这个旋律动听、节奏明快的歌舞表演是整场表演的一大亮点。）

这个句子使用了supercalifragilisticexpialidocious这个字来描述一段音乐和舞蹈的表演，表达它旋律优美、节奏感强的效果，给人一种轻快愉悦的心情。在中文的解释中,我选用“旋律动听、节奏明快”来表达这个意思，和原句使用的那个虚构词在意境和效果上是相通的，都在强调这个表演在听觉和旋律方面给人以愉悦和乐趣的深刻感受。

实验动机：利用生成式AI模型创建supercalifragilisticexpialidocious类似风格的新词。第1步，让Claude熟悉supercalifragilisticexpialidocious：

事实上，Claude可以很好地总结supercalifragilisticexpialidocious相关先验知识。

第2步，让Claude分析它的读音及其构词过程：

Claude同样很准确地为我们完成了任务。

第3步，我让Claude帮我们回忆1964年迪士尼音乐电影Mary Poppins中单曲supercalifragilisticexpialidocious的歌词：

第4步，让Claude帮我们分析单曲supercalifragilisticexpialidocious歌词中的旋律：

第5步，开始让Claude帮我们造10个类似的新词，要求新词易拼读、有优美的韵律：

于是，Claude返回10个新词，分别是：

Splendiferocious - splendidly ferocious, fiercely magnificentWonderiffic - wonderfully terrific, terrifically wonderfulFantabulous - fantastically fabulous, fabulously fantasticAmazadelic - amazingly psychedelic, psychedelically amazingExcitiferrous - excitingly joyful, joyfully excitingSensationalish - sensationally stylish, stylishly sensationalStupendincredible - stunningly incredible, incredibly stunningMagimystical - magically mystical, mystically magicalPhenomeniffic - phenomenally terrific, terrifically phenomenalGloribibble - gloriously garrulous, garrulously glorious

第6步，10个不够，让Claude再10个：

第7步，如果觉得新词不够长，让Claude再10个更长的新词：

第8步，让Claude利用刚刚造的10个较长的新词为我们各造一个句子：

到此，我们大致有了一个基本认知，Claude不仅能很好地总结与supercalifragilisticexpialidocious相关的先验知识，为我们创造字典上没有出现过的新词，而且满足较高的要求，如由许多英语词的片段拼接而成，意在发挥语言的聲韻之美，表达一种轻快活泼的心情和意境。

造新词并创作新诗

既然Claude可以创造一系列风格的新词，我们再来进一步发挥它的创造性。让它帮我们创作一首诗情画意的诗：

至于，今天的实验结果，能否说明大语言模型具有智能涌现能力。依一说了不算，元芳你怎么看？（Yiyi King）