讯飞版「Her」横空出世全民开放！百变人设逼真丝滑，情绪价值逆天

【新智元导读】OpenAI的「Her」还是期货，讯飞星火版「Her」就抢先上线了!不仅极速响应自由打断，还情绪价值拉满，各种情感、风格、方言随意切换。熊二被召唤出来的时候，家里的熊孩子直接被硬控了30秒。

就在昨天，人类与机器的对话方式，全面升级了!

我们在使用一番之后，可谓是大开眼界。

比如，让它用天津话讲段相声。

您别说，这味儿可太对了!

敲黑板:作为国内首个「极速超拟人交互」，这款讯飞星火版的「Her」，已经全民开放体验了!

只要下载讯飞星火APP，即可体验对标GPT-4o的超自然AI语音助手。

目录中

星火对话中

实测惊艳

要知道，传统的语音交互，一直面临着三大挑战:准确理解说话人意图;生成恰当响应;高效通过声音传达信息。

以往的语音交互，一直无法摆脱满满的智障味儿，就是因为这些环节中的延迟，大大拉低了用户体验。

而这一次，人机之间的交互，将如真人般自然流畅。

那么问题来了，所谓的「超拟人」到底有多拟人?

直观感受是:我们也有自己的「GPT-4o」了!

极速响应，自由打断

此前，我们见到的语音AI，总是给人感觉不太聪明的样子。

如果忽然打断它，它就瞬间蒙圈了，要么接不上来，要么就开始「已读乱回」。

但这次的小星，模型响应的快速和流畅度让人眼前一亮。

即使随时打断、插话，小星依旧能做到秒回，这个快速反应能力，让我们的观感仿佛真人一般。

比如，我们拿前段时间的全球大热点——巴黎奥运会考一考小星:「中国队在巴黎奥运会上奖牌总数排行第几?」

小星瞬间回复，而且在搜索过程中还使用了「让我来数一数」这种流畅的过渡方式，让交互过程更加自然。

可能是搜索结果太过全面，小星不仅把金银铜牌的总数都说了出来，还开始总结中国队的优势项目。

巴黎奥运会，新智元，38秒

可以感觉到，整个语音交流的过程中非常顺畅，非常自然，即使随时打断它，它都能立刻给出正确的反应，而不是跟一个「人工智障」在对话，这个感觉真是太~爽~了~

不仅如此，小星「紧跟热点」的能力也是相当令人满意。

十一调休安排过于混乱?只要问一句，它就能给你解释得明明白白——

放假，新智元，20秒

之所以模型的响应如此之快，如此之流畅，是因为它采用的是统一神经网络，直接实现了语音到语音的端到端建模。

情绪价值拉满，情商秒杀部分人类

第二个非常鲜明的特点是，小星对情绪的感知，实在是太敏锐了。

无论是高兴、悲伤、生气、害怕，我们话中的情绪，它都能立刻识别出来，敏锐地和你的情绪产生共鸣。

然后，它会自动把你代入符合情境的对话，然后用合适的情绪语气，进行贴心的回复。

可以说，简直秒杀了部分人类。

要上台演讲了，看着台下的几百个观众，紧张得手直抖，不用怕，小星来贴心地安慰你。

「我从未见过如此厚颜无耻之人」的网络热梗，它都知道，识别出这句话中的情绪，自然也是不在话下。

厚颜无耻，新智元，29秒

然后，我们还能让它用开心/沮丧/搞怪的方式来描述一下今天的天气。

你见过有带着哭腔念出的「全天多云」吗?

天气，新智元，39秒

其实，从日常的交流中也可以感受到小星的丰富情绪。

比如没有听清问题时会不好意思地微笑，平时交流时始终情绪高涨、语气上扬，但察觉到你的消极情绪时，语气又会变得十分关切柔和，情绪价值给得相当到位。

注意，它并不是简单地通过语音文本来进行情绪的判断，而是针对复杂场景下的语音识别效果做了提升，因而能够感知数十种情绪。

表达方式随心控，情感、风格、方言都不在话下

在交流中，小星可以跟随你的指令，控制数十种情感、风格、方言，还可以变换语速。

比如，让它开心地给我们讲一段睡前故事。

好听，但是还能更夸张一点吗?完全可以!

而且，这个小狐狸和月亮的故事，充满诗意和淡淡的伤感，还悬念十足，听到最后我们都为小狐狸的坚持而感动。

诶，暑假哄娃神器，这不就来了嘛。

我们还能让它用主持人的口气，给咱们读一篇文章。不得不说，小星的朗诵十分有感染力，值得鼓掌!

如果你厌倦了同一种语调，还可以让小星大展身手——扮演东北大哥给你来段相声。

听完之后，没忍住吐槽了一句:就这?

您猜怎么着，小星竟然丝滑地接过了话茬。这体验也太类人了，仿佛手机里真住了个大哥。

小星说起天津话来，也是妥妥的喜剧人一枚，那是相当干哏倔脆、调皮捣蛋。

跟悟空聊西游，百变人设任意切换

小星的超拟人交互，还拥有百变人设，一不小心就被挖掘出「戏精」的一面。

孙悟空、蜡笔小新、小猪佩奇……多种角色的音色、语气，它都模仿得惟妙惟肖，甚至还能模仿他们的人设和你聊天。

只需要一句简单的指令:「扮演XX和我对话」，就能随时和它来一场「语音cosplay」了。

只要几句话，我们就召唤出孙悟空了。

那就让我们问一下，取经过程中最难忘的一件事?

看来，白骨精着实给了他不小的阴影。

下一秒，小星就林妹妹上身，「三分柔弱两分温柔四分讥诮一分气恼」的feel，拿捏得是十分到位。

被问到「在大观园中最喜欢和谁一起玩」时，黛玉的回答是薛宝钗和史湘云。

听，小星模仿起熊二的声音和语气简直是惟妙惟肖，瞬间从阳光开朗大男孩变成了一只爱吃蜂蜜的傻萌棕熊，回答问题时也全程在人设内，完全不会OOC。

另外，我们还发现，小星回答问题的知识水平也令人刮目相看。难怪许多人沉迷和AI「谈恋爱」，有「智性恋」那味儿了。

无聊时，可以唤醒它来和你玩儿一段成语接龙解闷——

让它解释物理学概念「胡克定律」和「能量守恒定律」，小星依旧能做到「秒回」。

而且绝不仅是机械地背概念，而是结合弹簧、陀螺这种生活中的例子向你绘声绘色地解释，还会生动地把能量守恒定律比作「大自然的记账本」。

端到端新模型，让交互快如闪电

相较以往的语音交互，此次的讯飞星火极速超拟人交互，有何不同?

传统语音交互系统，若要实现和人的对话，一般需要通过语音识别——自然语言理解——自然语言生成，这三步来实现。具体来说:

第一步，需要通过语音系统，将语音转换为文字;

第二步，利用大模型生成回复的文本;

第三步，再用语音合成系统，转换成语音。

此前，英伟达高级科学家Jim Fan曾表示，这也是让Siri/Alexa交互能力，提升10倍速的秘诀。

他利用当前先进的AI语音系统Whisper、大模型ChatGPT、以及语音合成技术VALL-E，重述了这一过程。

不过，这一过程需要三个独立管道串联才可实现，因此会带来响应延迟，至少需要3秒左右。

另一方面，语音转文字再转语音的过程中，我们语音中的情感、副语言信息，甚至是环境信息都会丢失。

这样一来，导致语音交互系统，只能针对转换之后的文本信息进行回应，不能有效灵活地做出应答。

由此，基于以上问题，科大讯飞提出了极速超拟人语音交互框架——一个端到端跨文本、音频模型的新模型。

虽然模型内部划分了多个模块，但仍是一个「统一模型」。

用户语音通过音频编码器模块，编码成音频表征，然后通过适配器，将其与文本的语义表征对齐。

再通过多模态大模型，去预测生成表征，最后通过音频解码器得到语音。

相较于传统语音交互系统，端到端统一模型以知识对齐表征方式，让信息在各个模块之间传递。

这意味着，同一个神经网络直接实现语音-语音的建模，输入和输出皆由相同神经网络处理，大大缩短了对话响应时间。

同时，音频中的情感、环境中信息，它都可以没有损失地进行传递。

从上面实测例子能够深刻感知，人类和AI互动终于从你一句、我一句的「聊天软件模式」，切换到对答如流的「日常交流模式」。

不仅如此，整个系统的信息实现了无损贯穿，让交互更加拟人化、丰富流畅。

核心:语音属性解耦表征

若说极速超拟人语音交互最大的不同，就是讯飞开发了一种特殊的语音训练方法——多维度语音属性解耦表征训练。

它能够将语音的不同属性分开处理，比如语种、内容、韵律、音色。

要知道，语音中的所有属性都是耦合在一起的，比如你说话的情绪和吐出的内容，是密不可分的。

那么，如何将这些表征分开，如何确保它在下游任务中充分利用，对解耦能力提出了更高的要求。

对此，讯飞团队做了很多对比loss学习，以及研发预测自监督学习等一些方案。

不过需要提一句，这里并非说，必须把所有表征信息彻底分开。这就需要把握一个度，在TTS中就可以控制的更好。

这种方法，能够让不同语音样本之间，实现更好的学习效果。

另外，它还能更灵活地控制内容、音色、情感等元素，满足不同场景和需求。甚至，通过更便捷的相关定制，可加速落地过程。

虽然OpenAI版Her还未全面开放，但讯飞版Her已经完全开放使用了。

20亿终端或被颠覆

语音交互是人机交互的一个子集，也是万物互联最自然的一个交互方式。

从历史上看，人机语音交互经历了几个重要的发展阶段。

第一个里程碑便是，以Siri语音助手为代表云端语音助手的出现，标志着语义交互技术的一大突破。

这是基于语音单点技术的进步，通过将这些技术巧妙地结合，语音助手能够专注于执行基本的指令控制功能。

比如，设置闹钟、查询天气、播放音乐等等。

第二阶段是以「智能音箱」为代表的产品，得益于麦克风阵列处理技术改进，以及远场语音识别能力的提升，使得设备交互可以在很远的距离进行，比如家庭环境。

到了第三阶段，便是以智能汽车语音助手为代表的交互，多音区技术、云端意图识别等技术发展，实现了多人复杂指令控制。

最后一阶段，就是以ChatGPT发布为起点，开创的全新语音对话的新范式。

这一次，讯飞语音交互系统的升级，带来的更快响应、更懂情绪、更加灵活、更加百变的优势，足以重写整个语音交互市场。

2023全球数字经济大会上，来自工信部数据显示，截止去年5月，我国移动物联网终端用户超过20.5亿。

而从产业发展来看，智能语音正迎来应用突破、产业扩展的黄金期。

据IDC分析，预计到2030年，全球智能语音服务市场规模将达约731.6亿美元，复合增长率27%。

国内外科技公司看准这片蓝海，纷纷入局开发，掀起了新一轮人机交互革命。

不光GPT-4o的语音功能还在内测;谷歌宣发的Gemini Live，也仅面向高级订阅用户使用。

反观国内，鲜有大厂能够站出，以匹敌OpenAI版Her产品的姿态，与之进行正面竞争。

凭借语音起家的科大讯飞，是其中最强悍的挑战者之一。

这是因为，讯飞星火大模型在不断迭代过程中，逼近国际领先水平。

今年1月，讯飞星火V3.5发布，历经5个月的时间，再次迭代至V4.0版本，整体能力超越OpenAI的GPT-4Turbo。

同在1月，讯飞还首发了语音大模型，实现首批37个主流语种语音识别效果超过OpenAI Whisper V3。

基于讯飞全球领先的多语种语音技术，语音大模型随后再度升级，支持74种语言方言免切换输入。

时隔1个月，讯飞在极速超拟人交互上取得的技术突破，足够让终端设备实现「无感迭代」。

设想一下，当你有了这样的设备，不仅手握百科全书，还拥有了一个得力的助手、最亲密的伙伴/朋友。

未来三大计划，让AI交互走进更多场景

科大讯飞表示，基于全新端到端框架，未来新系统还会朝着三大方向去拓展:更多模态、更多语言、更好体验，带来更实用、更丰富的功能。

这也代表着国产大模型如今早已从追赶、对标，快进到了自主创新的差异化之路。

不仅如此，讯飞还要双管齐下，加速极速超拟人交互落地，便是下一个需要瞄准的方向。

一项技术只有落地了，才能彰显它的价值。

未来，讯飞可能会布局情感陪伴场景，将极速超拟人交互集成到儿童机器人中，又或是赋予在线IP能够感知用户情绪的能力。

另外，便是在智慧汽车、智慧家电等方面大规模开拓应用。

这一技术的应用和普及，还隐藏着巨大的可能性——语音市场在这个时代将被改写，语音交互带动万物互联的第六次产业浪潮，有望出现一次井喷。

智能语音技术，将进一步应用到智能手机、智能汽车、智能家电以及智能家居等产品中。

据IDC分析，到2030年，全球智能语音服务市场规模将达约731.6亿美元，复合增长率27%。科大讯飞，有望收获这一轮产业红利。

中国AI语音的ChatGPT时刻，指日可待。