让AI知识触手可及

登录/注册
首页 » GPT-5涌现能力可预测？UC伯克利仅使用当前模型检查点预测未来模型
内容目录

文章来源于互联网:GPT-5涌现能力可预测？UC伯克利仅使用当前模型检查点预测未来模型

LLM 规模扩展的一个根本性挑战是缺乏对涌现能力的理解。特别是，语言模型预训练损失是高度可预测的。然而，下游能力的可预测性要差得多，有时甚至会出现涌现跳跃（emergent jump），这使得预测未来模型的能力变得具有挑战性。
最近，来自加州大学伯克利分校（UC 伯克利）的研究团队提出涌现预测的任务：是否可以仅通过使用 GPT-N 模型的检查点（即当前模型的状态）来预测 GPT-N+1（未来模型）是否会出现涌现能力？ 并在论文《Predicting Emergent Capabilities by Finetuning》中给出了答案。
  • 论文标题：Predicting Emergent Capabilities by Finetuning
  • 论文地址：https://arxiv.org/pdf/2411.16035
值得注意的是，这篇论文的作者包括强化学习大牛 Sergey Levine。
该研究拟合了一个参数函数 —— 涌现定律，模拟了涌现点如何随数据量的变化而变化。
为了进行验证，该研究使用四个标准 NLP 基准 ——MMLU、GSM8K、CommonsenseQA 和 CoLA。通过仅使用小规模 LLM 来拟合涌现定律，该研究能够准确预测涌现点。
最后，该研究提出了两个实际的涌现案例研究，表明该研究提出的涌现定律可用于预测更复杂的能力。
思维链提出者 Jason Wei 称赞：「这是一篇非常聪明的论文，可以预测预训练模型的下游性能，非常有价值。因为可以使用它来预测和证明对下一个大模型训练运行的资本投资的合理性。」
论文介绍
作者首先提出了涌现预测，并将涌现预测定义为仅使用涌现前的模型检查点，来识别发生涌现的扩展点的问题。
简单理解就是，对于给定的 LLM，其在特定任务上具有随机少样本准确率，我们能否预测这个 LLM 在哪个扩展点（例如，预训练损失）上性能将超越随机表现？
带着这一疑问，作者发现了这样一个见解：在给定的任务上微调 LLM， 可以将涌现发生的临界点向着能力较低的模型移动 ，这意味着，通过微调，模型在涌现能力出现的时间点可以提前，这对于理解模型扩展和能力跃升的过程非常重要。微调所使用的数据量，会调节这种临界点移动的幅度。 
图 3（左）绘制了每个模型在 GSM8K 和 MMLU 上的少样本和微调性能与预训练损失的关系。可以看到，微调后的模型遵循与少样本设置类似的 ReLU 形状。此外，在相同的预训练损失下，所有模型大小的转变都是一致的，这表明预训练损失可以作为少样本和微调设置中有效的独立变量。
作者还发现出现涌现偏移受微调数据量的影响。图 3（右）绘制了 3B 模型检查点在完整数据子集上进行微调后的性能。在 MMLU 和 GSM8K 上，随着微调数据量的增加，涌现点进一步向能力较弱的 LLM 偏移。因此，微调数据量可以调节涌现偏移。
为了将这一洞察付诸实践，作者针对不同数量的数据对 LLM 进行了微调，并拟合了一个参数函数（即涌现定律），该函数模拟了涌现点如何随数据量的变化而变化。
然后，根据这一发现可以推断出在少样本设置中关于涌现的预测。
作者利用四个标准 NLP 基准来验证涌现定律，结果发现涌现定律可以提前准确预测涌现点，最多可提前 4 倍 FLOP。
接下来作者进行了这样一个实验，就预训练 FLOPS 而言，可以提前多久成功做出预测。结果发现，可以提前预测涌现的程度在某种程度上取决于任务。
在 MMLU 和 GSM8K 上，可以分别提前最多 4.3 倍和 3.9 倍的 FLOPS 涌现出现。然而，在 CommonsenseQA 和 CoLA 上，分别只能提前预测 1.9 倍和 2.3 倍。
最后，作者还进行了真实世界的案例研究：1）低成本评估预训练数据质量（左）。2）使用困难 APPS 编码基准预测更复杂的能力，更接近未来前沿模型的能力（右）。
感兴趣的读者可以阅读论文原文，了解更多研究内容。

文章来源于互联网:GPT-5涌现能力可预测？UC伯克利仅使用当前模型检查点预测未来模型

AI偏科的毛病「治」得咋样了？我们实测了6款大模型
21
1 月
2025
离职OpenAI后，翁荔博客首次上新，引众网友围观学习（中文全文）
21
1 月
2025
ICLR 惊现[10,10,10,10]满分论文，ControlNet 作者新作，Github 5.8k 颗星
21
1 月
2025
Andrej Karpathy：神奇大模型不存在的，只是对人类标注的拙劣模仿
21
1 月
2025
关于计算机视觉中的自回归模型，这篇综述一网打尽了
21
1 月
2025
GPT-5涌现能力可预测？UC伯克利仅使用当前模型检查点预测未来模型
21
1 月
2025
陶哲轩：通义千问QwQ奥数真厉害，开源大模型顶流
21
1 月
2025
三名高中生，为近百年的分形定理带来了新证明
21
1 月
2025
如何精准识别伪装场景
21
1 月
2025
准确、快速地从头预测RNA 3D结构，港中大、复旦等深度学习方法RhoFold+登Nature子刊
20
1 月
2025
上百万智能体在OASIS模拟平台上玩推特，AI玩社交媒体和真人有多像？
20
1 月
2025
算法系统协同优化，vivo与港中文推出BlueLM-V-3B，手机秒变多模态AI专家
20
1 月
2025
斯坦福吴佳俊扩散自蒸馏来了！突破文生图身份保留挑战
20
1 月
2025
流式深度学习终于奏效了！强化学习之父Richard Sutton力荐
20
1 月
2025
AI现场发了2万红包，打开了大模型Act时代
20
1 月
2025

全部资讯

最新提问

我要提问

🎉🎉🎉AI问答功能上线喽！！
2024-11-30
Dongming
安装pytorch的时候提示拒绝访问
2024-11-30
7083
已经成功安装pytorch，但是import时提示"找不到指定的模块"
2024-11-30
7083
Pytorch安装后不能使用的问题
2024-11-30
7083
YOLO模型训练时提示报错
2024-11-30
7083
YOLO的安装使用报错问题
2024-11-30
7083
有哪些GPU云环境可以使用
2024-11-27
Dongming
公众号
菜单
0
希望看到您的想法，请您发表评论x
滚动至顶部