13 个字母价值 4 万美元?21 岁大学生用 AI 破译千年古卷!
近来,一位21岁的计算机科学学生,因为一个历史性成就获得了4万美元奖金。
提问:什么历史性成就?答:成功破译了2000年前被掩埋、已碳化且无法打开的赫库兰尼姆古卷中的一个单词。
提问:卷轴都没打开,他是怎么破译的?答:利用 AI 技术。
这位获奖者名为 Luke Farritor,而这个价值4万美元的奖项是维苏威火山挑战赛的 First Letters Prize(首字母奖),其获奖要求是参赛者在卷轴中4平方厘米的区域内找到至少10个字母。
利用高能 X 射线和 AI 技术,对古代卷轴进行成像
公元79年,维苏威火山爆发,摧毁了庞贝城和赫库兰尼姆城,连带着存于庞贝附近一座私人图书馆中的古代卷轴也被掩埋。近2000年来,这座唯一幸存的图书馆一直被埋在地下20米深的火山泥中,直到1700年代才被挖掘出来。可由于在火山灰和气体的灼热作用下,这些卷轴早已碳化、非常脆弱,稍微处理不当就会立即化为灰烬。
如何在不打开卷轴的前提下,阅读其中的内容?数百年来,这个问题一直没有答案。基于此,2023年3月,维苏威火山挑战赛正式发起——而它的设立,最早源自于2019年肯塔基大学 EduceLab 的 Brent Seales 教授在粒子加速器中,成功对赫库兰尼姆古卷进行了成像。
多年来,专家们尝试通过各种方法试图展开古代卷轴,但有些在展开过程中就毁坏了,有些则是展开后文字暴露在空气中会导致墨水褪色。Brent Seales 教授带领的团队曾通过高能 X 射线识别出了恩盖迪(En-Gedi)卷轴中的文字。
但恩盖迪卷轴的墨水是金属基的,因此在 X 射线数据中会显示出来,而赫库兰尼姆古卷上的墨水可能是碳基的,与纸张成分有重合,因此在 X 射线扫描中无法明显成像。也就是 Brent Seales 所说的:用肉眼无法从略微不同的 X 射线技术捕捉到的扫描结果中,解读出赫库兰尼姆古卷中的字母。
基于这个现状,Brent Seales 研究小组提出了一种新方法:利用高能 X 射线和 AI 技术中的机器学习模型。具体来说,就是先扫描并拍摄带有可见墨水的分离卷轴碎片照片,然后将这些照片喂给机器学习模型,使其找出并学习 X 射线扫描中墨水区域和空白区域之间的细微差别。一旦经过这样的碎片化训练,该模型就有望与完整卷轴的数据结合使用,从而识别其中的文字内容。
通过这种方法,2019年 Brent Seales 团队在粒子加速器中对赫库兰尼姆卷轴进行成像,成功生成了分辨率高达4微米的3D CT 扫描。
这一成功引起了科技企业家 Nat Friedman 和 Daniel Gross 的注意,并为了加快破译古代卷轴,发起了维苏威火山挑战赛:总奖池高达70万美元,还为开源工具和技术的开发颁发了几个较小的奖项。
训练 AI 模型识别“裂纹图案”
自今年3月维苏威火山挑战赛正式发起,吸引了诸多参赛者,其中 Casey Handmer 是前 JPL 公司的创始人,他在八月初写了一篇博文,提到他发现了一种看起来像是墨水痕迹的 “裂纹图案”。
(左图:可见有裂纹的墨水纹理。右图:显示墨水位置的标注。它可能是“pi”,也可能是大写“eta”的底部)
通过连续数小时盯着分段 CT 扫描图像,Casey Handmer 发现了这一图案——这绝对是一个重大而令人惊讶的发现,因为此前在卷轴中并没有看到过这种图案。
基于 Casey Handmer 的发现,不少参赛者也开始寻找裂纹图案,此次获得4万美元奖金的 Luke Farritor 就是其中一员,他是一名在读大学生,也曾是一名 SpaceX 暑期实习生。
Luke Farritor 在 Discord 上看到有人在讨论这一话题,便开始利用晚上和深夜的时间对裂纹图案进行机器学习模型训练。他找到了几十个墨迹笔画和一些完整的字母,将其进行标记并用作训练数据。每发现一个新的裂纹,模型就会得到改进,从而找出卷轴中更多的裂纹图案——在这种循环中,模型不断进化。
没过多久,Luke Farritor 训练下的 AI 模型就找到了他肉眼看不见的裂纹图案,并开始形成了一些字母和实际单词的蛛丝马迹。于是 Luke Farritor 向维苏威火山挑战赛的 First Letters Prize(首字母奖)提交了第一份参赛作品(要求在 4平方厘米的区域内找到至少10个字母):
发现13个字母,获得4万美元奖金
在这幅图中,隐约可以看到 ΠΟΡΦΥΡΑϹ(porphyras)一词的轮廓。Brent Seales 教授看到这张照片时也非常惊讶:尽管字母很模糊,但他们一眼就能读出 "porphyras "这个单词。
经过全面的技术审查后,挑战赛官方将 Luke Farritor 提交照片的更新版本发给了专业技术小组,他们在其中标注了13个可见字母,尽管可信度各不相同(绿色:可信度超过80%;黄色:可信度在50-80%;红色:可信度低于50%):
其中,Porphyras 这个单词虽然在古代文献中比较罕见,但也经得起推敲,其意思就是“紫色的”(注:这种古文字中的字母与现代文字看起来有点不同,且该时期的文本不使用空格,因此很难确定单词的边界)。
对此,一位相关专家补充道:“πορφυ̣ρ̣ας̣,可能是 πορφύ̣ρ̣ας̣(名词,紫色染料或紫色布)或 πορφυ̣ρ̣ᾶς̣(形容词,紫色)。由于缺乏上下文,无法排除 πορφύ̣ρ̣α ς̣κ[ 或 πορφυ̣ρ̣ᾶ ς̣κ[ 的可能性。
最终,Luke Farritor 提交的这张照片得到维苏威火山挑战赛的官方认可,获得了4万美元的 First Letters Prize(首字母奖),而他本人在得知这个好消息的第一时间也十分兴奋:
此后不久,另一位参赛者 Youssef Nader 基于 Luke Farritor 的机器学习方法进行了改进——采用领域转移技术,使这些模型适用于卷轴:在卷轴数据上进行无监督预训练,然后在片段标签上进行微调。通过这种方式,Youssef Nader 在同一区域发现了同样的单词,其结果更为清晰可见,从而赢得了该奖项的第二名,获得了1万美元的奖金。
值得一提的是,几天前Youssef Nader 的 AI 模型识别出了令人震惊的清晰度和大小的新图像:虽然并非所有字母都清晰易读,但可以看到有四列半的文本内容。
“我们的专家团队正在努力进一步调查,很快会有这方面的更新。”对于这个发现,维苏威火山挑战赛官方的乐观情绪空前高涨:这些进展表明,斩获70万美元的大奖“指日可待”!
参考链接:
https://scrollprize.org/firstletters
https://caseyhandmer.wordpress.com/2023/08/05/reading-ancient-scrolls/
https://www.theguardian.com/science/2019/oct/03/ancient-scrolls-charred-by-vesuvius-could-be-read-once-again
- 0000
- 0000
- 0000
- 0003
- 0000