声音比真人还像真人的Maya，背后模型开源了！跨越语音恐怖谷 - 一起AI技术

让AI知识触手可及

首页 » 声音比真人还像真人的Maya，背后模型开源了！跨越语音恐怖谷

文章来源于互联网:声音比真人还像真人的Maya，背后模型开源了！跨越语音恐怖谷

语音恐怖谷是指在语音合成技术中，当 AI 合成语音接近人类的真实语音，但又存在细微的不自然或不完美之处时，会引发人类的不适感。

在 AI 这条赛道上，语音助手也是大家重点发力的领域。

你可能已经和 OpenAI 版《Her》展开过对话，也可能询问过其他语音助手一些问题。它们都有各自的优缺点，有选择困难症的小伙伴可能犯难了，到底该选择哪一款呢？

其实，在和语音助手交谈的时候，除了对话流畅，声音的微妙表达如情绪、停顿、安慰都是不能少的。

但当今 AI 语音助手虽然接近人类但仍有机械感或情感表达不自然的时候，用户可能会感到怪异，甚至比完全机械化的语音更难以接受。这种现象被称为语音恐怖谷效应，是当前语音合成技术需要克服的挑战之一。

AI 公司 Sesame 发布的逼真语音助手 Maya，通过情感智能、上下文记忆和高保真语音生成技术，成功跨越了语音恐怖谷，使语音交互更加自然、情感丰富。

^{Sesame 官方博客中正式写道他们的研究跨越恐怖谷效应，来源：https://www.sesame.com/research/crossing_the_uncanny_valley_of_voice}

在下面演示的这段对话中，你就像和朋友聊天一样，聊上十几分钟都没问题，Maya 的语气很随和，它会打断别人的话，你也可以随时打断它的话，甚至你还能听到对话时的呼吸声。

^{来源：https://x.com/tanvitabs/status/1895842394928791888}

现在，Sesame 开源了驱动 Maya 的基础模型 CSM-1B（Conversational Speech Model）。

项目地址：https://github.com/SesameAILabs/csm
huggingface 地址：https://huggingface.co/spaces/sesame/csm-1b

该模型拥有 10 亿参数规模，并且采用了 Apache 2.0 许可证，这意味着它可以在几乎没有限制的情况下用于商业用途。CSM-1B 可以从文本和音频输入中生成「RVQ 音频编码」。

可能大家都很好奇什么是 RVQ（Residual Vector Quantization），简单来讲就是一种将音频编码为离散 token 的技术。这种技术已经被应用于多种 AI 音频研究中，包括各种大厂都在采用，如 Google 的 SoundStream（一款用于收听播客、有声读物和广播节目的应用程序）和 Meta 的 Encodec。

CSM-1B 使用了 Meta 研发的 Llama 系列模型作为其骨干架构，并搭配了一个音频解码器组件。

Sesame 表示，Maya 的精细微调版本正是基于 CSM。Sesame 还提到：在 Hugging Face 和 GitHub 上开源的模型是一个基础生成模型，能够产生多种声音，但尚未针对任何特定声音进行精细微调…… 该模型因训练数据中的数据污染，对非英语语言有一定的能力，但表现可能不佳。

目前尚不清楚 Sesame 用于训练 CSM-1B 的数据来源，该公司并未透露相关信息。

值得注意的是，该模型实际上没有任何真正的安全防护措施。Sesame 采用的是一种诚信系统，仅仅是敦促开发者和用户不要在未经他人同意的情况下使用该模型模仿别人的声音，不要创建误导性内容如假新闻，或从事有害或恶意活动。

《消费者报告》最近发出警告，指出市场上众多流行的 AI 语音克隆工具缺乏有效的防范措施来预防欺诈和滥用行为。

公司介绍

Sesame 由 Brendan Iribe（Oculus 联合创始人兼前 CEO）、Ankit Kumar（前 Ubiquity6 首席技术官兼联合创始人）、Ryan Brown（前 Meta Reality Labs 研究工程总监）等创意人才领导。

Sesame 已从 Andreessen Horowitz、Spark Capital 和 Matrix Partners 等投资机构获得融资，但具体金额未对外公布。

Sesame 专注于开发自然对话的语音伙伴及相关设备。公司采用跨学科方法，结合硬件、软件和机器学习技术，确保语音界面既实用又令人愉悦。其研究团队在语音生成、个性化建模和多模态技术领域积极创新，并依托大规模 GPU 集群和专业训练评估体系支持研发工作。

该公司除了开发语音助手技术外，还在研发可全天佩戴的 AI 眼镜原型，这些眼镜将搭载公司自主开发的定制模型。

^{参考链接：}

^{https://techcrunch.com/2025/03/13/sesame-the-startup-behind-the-viral-virtual-assistant-maya-releases-its-base-ai-model/}

^{https://www.zdnet.com/article/talking-with-sesames-ai-voice-companion-is-amazing-and-creepy-see-for-yourself/}

文章来源于互联网:声音比真人还像真人的Maya，背后模型开源了！跨越语音恐怖谷

NTU S-Lab 团队探索可动 3D 新方向：结构、关节、纹理一次到位

04

12 月

2025

腾讯胡文博：引领 3D 视频世界模型新趋势丨GAIR 2025

03

12 月

2025

GAIR 2025 世界模型论坛：走向真实智能的起点

30

11 月

2025

BFM-Zero，让人形机器人不再依赖高质量动捕数据

28

11 月

2025

夸克AI眼镜发布两个系列六款单品

27

11 月

2025

这款应用爆火背后，AI下半场正从「聊天」变「办事」

27

11 月

2025

实测完“灵光”，我意识到人类对 AI 助手的开发不足1%

27

11 月

2025

全球招募 | GDPS 2025 定档：开启「物理智能」元年，给AI发一张「物理世界准入证」

26

11 月

2025

优必选再中标2.64亿元订单，全年人形机器人订单达11 亿人民币。

25

11 月

2025

小米陈龙团队首作：统一具身与自动驾驶的开源模型

22

11 月

2025

趋境开源框架 KTransformers 成主流大模型首选，Qwen、Kimi、智谱 AI 推荐，单卡跑万亿模型

21

11 月

2025

Gemini 3 登场后，哈萨比斯要「改造」Google 全系产品

21

11 月

2025

AI外教一对一产品“斑马口语”上线，教育行业首个真生产业化落地的AI Agent

19

11 月

2025

对话顾嘉唯：AI正在从虚拟世界，开始进入物理世界

19

11 月

2025

中国 AI 正处于反超美国的前夜

19

11 月

2025

最新提问

🎉🎉🎉AI问答功能上线喽！！

2024-11-30

Dongming

安装pytorch的时候提示拒绝访问

2024-11-30

7083

已经成功安装pytorch，但是import时提示"找不到指定的模块"

2024-11-30

7083

Pytorch安装后不能使用的问题

2024-11-30

7083

YOLO模型训练时提示报错

2024-11-30

7083

YOLO的安装使用报错问题

2024-11-30

7083

有哪些GPU云环境可以使用

2024-11-27

Dongming

公众号

0

希望看到您的想法，请您发表评论x

()