新闻动态 / FEATURED STORY

语音AI能笑能哭,却只跑在一块消费级显卡上

语音助手说话像念稿,这件事被吐槽了很多年。Block 研究实验室放出的新模型 Dessa,给出的解法有点反常识:不靠文本中转,直接对着人声学。 据 Block 介绍,Dessa 完全用人类语音训练,训练和运行都只需要一块 NVIDIA GPU。它跑在本地,能发出笑声、停顿、哭声这类表达,听起来"奇怪地像人"。 为什么现在的语音模型总显得不自然?Block 的说法是,问题出在管线里的文本环节——语音

语音AI能笑能哭,却只跑在一块消费级显卡上
语音AI能笑能哭,却只跑在一块消费级显卡上 · 金宝博·(china)官方网站

本篇体育资讯由金宝博整理:

语音助手说话像念稿,这件事被吐槽了很多年。

Block 研究实验室放出的新模型 Dessa,给出的解法有点反常识:不靠文本中转,直接对着人声学。

据 Block 介绍,Dessa 完全用人类语音训练,训练和运行都只需要一块 NVIDIA GPU。

about image

它跑在本地,能发出笑声、停顿、哭声这类表达,听起来"奇怪地像人"。

为什么现在的语音模型总显得不自然?

Block 的说法是,问题出在管线里的文本环节——语音生成被文本驱动,情绪只能靠语音标签去调。

ElevenLabs v4、Fish Audio Drama 3 这类模型走的正是标签路线。

Block 声称 Dessa 把情绪内建进了模型,至于这种情绪是否仍由某种标签操控,目前并不清楚。

Dessa 是 全双工 模型,能一边说一边听,和 OpenAI 今年早些时候发布的 GPT-Live 属于同一类。

通常语音模型要外挂一个大语言模型来取知识,Block 表示 Dessa 的知识来自它自己的对话数据。

Block 在博客里把话说得很重: "和现在的语音 AI 交互,就是单纯地难受。

" 它把你的声音转成文本,丢掉了文本根本承载不了的大量信息。

世界上最强的 AI 听不出你的感受,Block 认为这很荒谬,体验更差,而且有潜在危险。

研究人员放出了多段与 Dessa 的对话示例,智能体的声音、语调和情绪各不相同。

其中一段里,机器人说自己工作累了,那一刻它的声音听起来确实疲惫;

另一段里,它说着对方让它感到舒服,语气情绪化到近乎崩溃。

还有一段是 Block 员工和语音助手玩游戏。

硬件门槛也不高。

Block 称这个模型可以跑在 MacBook M4 Max 或更好的消费级电脑上。

但 Dessa 目前没有公开访问入口,Block 正在召集安全研究人员来测试它——大概率是要摸清语音智能体在对话另一端骗过人的那些场景。

这门生意和 Block 的主业对得上。

它做金融,把方案卖给小商家,Square 已经在用语音 AI 处理点单。

有了能在设备端本地跑的自家语音模型,它能以更低的成本撑起更多商业和消费者场景。

特别

更多体坛动态,关注金宝博。

觉得内容有帮助?

分享给需要了解相关信息的朋友。

返回资讯列表