跳至内容
让AI知识触手可及
首页
AI知识
AI资讯
AI问答
Search
搜索
登录/注册
首页
»
藏不住了!OpenAI的推理模型有时用中文「思考」
文章来源于互联网:
藏不住了!OpenAI的推理模型有时用中文「思考」
让我们说中文!
OpenAI o1 在推理时有个特点,就像有人考试会把关键解题步骤写在演草纸上,它会把推理时的内心 os 分点列出来。
然而,最近 o1 的内心 os 是越来越不对劲了,明明是用英语提问的,但 o1 开始在演草纸上用中文「碎碎念」了。
比如这道编码题,前面 o1 还在老老实实用英语,后脚就进入了「中文时间」。
这波操作,怎么看都像留子写论文的反向操作:先用中文打草稿,再翻译成英文交作业,倒反天罡了。
这件事先在 reddit 上掀起了一阵讨论,匿名发帖者表示:「我只见过 Deepseek 的模型这样做,但我不知道为什么 OpenAI 的模型会突然偏向中文啊!」
神经科学 × AI 研究员 Rishab Jain 也在 X 上表示疑惑:「为啥 o1 突然开始用中文思考了?明明整个对话(5 + 条消息)都是英文啊…… 很有意思…… 该不会是训练数据在作祟吧?」
OpenAI 并未做出解释,甚至都没有承认这一现象。
谷歌的 Gemini 也出现了类似的行为。它会在段落中间随机插入古吉拉特语(印度的一种主要语言)单词。ChatGPT 也可能会用没有出现在对话中的语言来定义网页左边列表里整个对话的名称。
这种多语言能力者的现象不只出现在推理或语言模型中,多模态模型也「躺枪」,有网友提到自己在跟 GPT-4o 对话的时候,它也会半途随机:「让我们说中文?」
那么,这到底是怎么一回事呢?
难道是 o1 套壳「QwQ」的事,藏不住了?
嗯,AI 专家们也不太确定。但他们先针对推理模型提出了几种推测。
训练数据的锅?
Hugging Face CEO Clément Delangue 在 X 上转贴,表示:「或许
这是因为闭源公司在使用(目前是中国机构主导)的开源 AI 和开源数据集?
」
他还提到:「未来在开源 AI 领域胜出的国家或公司,将在 AI 的未来发展中拥有巨大的影响力和话语权。」
「OpenAI 和 Anthropic 的实验室都会使用第三方数据标注服务来处理科学、数学和编程方面的博士级推理数据,」RT-X 系列的主要作者、Google DeepMind 研究员 Ted Xiao 做出了进一步解释,「出于专业劳动力可用性和成本考虑,许多这些第三方数据标记供应商都位于中国。」
而 o1 切换到中文可能是这种影响的一个例子。
软件工程师 @ClaudiuDP 也表示:「可能是 AI 的训练数据中里,一些需要用来构建回答的信息是用中文写的。」
除了中文占训练数据的比重高之外,由于是中文是象形文字系统,一个汉字往往可以表达一个完整的概念,相比之下,英文可能需要多个字母才能表达同样的概念。这可能也是一种「节省 token」的策略?
「AI 选择用中文思考,是因为中文在某些表达上更经济,可以直接解概念压缩包?」
「在思维链中,同等 token,选中文能思考得更深?」
「与英语相比,中文压缩了 token 的使用。我怀疑这是否是原因,但节省这些冗长的内部推理模型的成本是明智之举。」
解起数学题来尤为直观,比如小 A 还在卷子上拼「Quotient」,而旁边的中国同学的「商」字已经写完了。
选择了最顺手的语言?
然而,有些专家并不认同应该让数据标注背锅。因为除了中文,o1 突然切换到印地语、泰语等其他语言的可能性也很大。
他们提出了不同的观点:「
o1 可能只是在选择最顺手的语言来解题,或者只是单纯的幻觉
。」
「模型并不知道什么是语言,也不知道语言之间有什么不同,」阿尔伯塔大学助理教授、AI 研究员 Matthew Guzdial 对 TechCrunch 表示,「对它来说这些都只是文本。」
事实上,模型眼中的语言,和我们理解的完全不同。模型并不直接读单词,而是处理 tokens。以「fantastic」为例,它可以作为一个完整的 token;可以拆成「fan」、「tas」、「tic」三个 token;也可以完全拆散,每个字母都是一个 token。
但这种拆分方式也会带来一些误会。很多分词器看到空格就认为是新词的开始,但实际上不是所有语言都用空格分词,比如中文。
Hugging Face 的工程师 Tiezhen Wang 认同 Guzdial 的看法,认为推理模型语言的不一致性可能是训练期间建立了某种特殊的关联。
他类比了人类的思维过程,会说双语并不仅仅是会说两种语言,而是一种独特的思维方式:大脑会自然地选择最适合当下场景的语言。就像用中文算数学比较简洁高效,每个数字只需一个音节,但讨论「无意识偏见」时却自然切换到英文,因为最初就是用英文学习这个概念。
这种语言切换就像程序员选择编程语言一样自然 —— 虽然大多数编程语言都能完成任务,但我们还是会选择用 Bash 写命令行,用 Python 做机器学习,因为每种语言都有它的「最佳场景」。
「工具要看场合」,这也启发训练 AI 时也要让它接触多种语言,学习到不同文化中的独特思维方式,这种包容性也能让 AI 更全面,也更公平。
有许多 AI 专家与 Wang 的观点不谋而合。
「在思维链推理过程中,肯定会冒出很多种语言,用哪种语言思考都行。就像我自己,当某些概念用英语很难表达时,我的思维就会自动切换到俄语。大语言模型就是硅基大脑,可能也是同理。」
「这是训练过程中产生的一个现象。Deepseek 的 R1 模型也有同样的表现。在训练过程中,模型会搜索那些最能帮助它得出正确结论的词。而其他语言中的词向量往往能更好地影响它的推理过程。」
同时,不少圈内人表示,既然切换语言对思考有帮助,而且用户最终看到的还是英文结果,那这完全 OK。
「作为一个中国人,我经常在脑子里用英文思考,因为我是双语者。所以我一点也不惊讶大语言模型会用中文思考,毕竟它们也是多语言通。只要最后输出的是预期语言就行,我觉得这不能算是幻觉。不过,这是不是要进一步思考:
最好的 AI 思考方式,是不是应该是一种与具体语言无关的隐藏状态?
」
「半路用中文思考」不是 bug,反而是一个意外的惊喜,说明 AI 出现了「以我为主,为我所用」的智能涌现?
对此,你怎么看呢?欢迎在评论区留下你的看法!
参考链接:
https://techcrunch.com/2025/01/14/openais-ai-reasoning-model-thinks-in-chinese-sometimes-and-no-one-really-knows-why/
https://x.com/RishabJainK/status/1877157192727466330
https://x.com/ClementDelangue/status/1877767382120255792
https://x.com/Xianbao_QIAN/status/1878623350953857166
https://x.com/xiao_ted/status/1877503196811362504
文章来源于互联网:
藏不住了!OpenAI的推理模型有时用中文「思考」
戴尔科技集团 x OpenCSG,推出⾯向智能初创企业的⼀体化 IT 基础架构解决方案
06
12 月
2025
NTU S-Lab 团队探索可动 3D 新方向:结构、关节、纹理一次到位
04
12 月
2025
腾讯胡文博:引领 3D 视频世界模型新趋势丨GAIR 2025
03
12 月
2025
GAIR 2025 世界模型论坛:走向真实智能的起点
30
11 月
2025
BFM-Zero,让人形机器人不再依赖高质量动捕数据
28
11 月
2025
夸克AI眼镜发布两个系列六款单品
27
11 月
2025
这款应用爆火背后,AI下半场正从「聊天」变「办事」
27
11 月
2025
实测完“灵光”,我意识到人类对 AI 助手的开发不足1%
27
11 月
2025
全球招募 | GDPS 2025 定档:开启「物理智能」元年,给AI发一张「物理世界准入证」
26
11 月
2025
优必选再中标2.64亿元订单,全年人形机器人订单达11 亿人民币。
25
11 月
2025
小米陈龙团队首作:统一具身与自动驾驶的开源模型
22
11 月
2025
趋境开源框架 KTransformers 成主流大模型首选,Qwen、Kimi、智谱 AI 推荐,单卡跑万亿模型
21
11 月
2025
Gemini 3 登场后,哈萨比斯要「改造」Google 全系产品
21
11 月
2025
AI外教一对一产品“斑马口语”上线,教育行业首个真生产业化落地的AI Agent
19
11 月
2025
对话顾嘉唯:AI正在从虚拟世界,开始进入物理世界
19
11 月
2025
全部资讯
最新提问
我要提问
🎉🎉🎉AI问答功能上线喽!!
2024-11-30
Dongming
安装pytorch的时候提示拒绝访问
2024-11-30
7083
已经成功安装pytorch,但是import时提示"找不到指定的模块"
2024-11-30
7083
Pytorch安装后不能使用的问题
2024-11-30
7083
YOLO模型训练时提示报错
2024-11-30
7083
YOLO的安装使用报错问题
2024-11-30
7083
有哪些GPU云环境可以使用
2024-11-27
Dongming
No posts found
公众号
菜单
首页
AI知识
AI资讯
AI问答
滚动至顶部
wpDiscuz
0
0
希望看到您的想法,请您发表评论
x
(
)
x
|
回复
Insert