文章来源于互联网:让大模型能听会说,国内机构开源全球首个端到端语音对话模型Mini-Omni

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
-
论文题目:Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming -
论文地址:https://arxiv.org/abs/2408.16725 -
代码仓库:https://github.com/gpt-omni/mini-omni
-
提出了首个开源的端到端、实时语音交互的多模态模型解决方案,支持语音流式输出,不需要额外的 ASR 或 TTS 系统。 -
推理过程中,可同时生成语音和文本信息,通过文本指导语音生成,有效降低语音推理的学习难度。 -
提出多阶段的训练方案,可通过少量开源或合成数据使任意语言模型具备语音交互能力。
