仅靠逻辑题，AI数学竞赛能力飙升！微软、九坤投资：7B小模型也能逼近o3-mini

首页 » 仅靠逻辑题，AI数学竞赛能力飙升！微软、九坤投资：7B小模型也能逼近o3-mini

文章来源于互联网:仅靠逻辑题，AI数学竞赛能力飙升！微软、九坤投资：7B小模型也能逼近o3-mini

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文由微软亚洲研究院的谢天、洪毓谦、邱凯、武智融、罗翀，九坤投资高梓添、Bryan Dai、Joey Zhou，以及独立研究员任庆楠、罗浩铭合著完成。

只刷逻辑益智题，竟能让 AI 数学竞赛水平大幅提升？

继中国大模型突破硅谷围堵后，国内团队再放大招，揭秘 DeepSeek R1 背后的秘密。他们通过仅五千条合成数据进行低成本强化学习，让 7B 小模型在逻辑推理测试中的表现超越 OpenAI o1，直逼 o3-mini-high。更令人惊叹的是，在完全未见过的美国数学奥林匹克（AIME）测试中，该模型的推理性能提升了 125%！

论文标题：Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning
论文链接：https://arxiv.org/abs/2502.14768
Github 链接：https://github.com/Unakar/Logic-RL

这是首个全面深入的类 R1 强化学习模型训练动态过程分析。需要强调的是，该团队不仅完整开源了全流程代码，还发布了详细的参数设置，训练数据和设计经验。

研究团队开宗明义，提出要探究以下问题：

1.DeepSeek R1 所采用的 GRPO 未必就是最合适的强化学习（RL）算法？应该如何调参实现稳定训练？由易到难的课程学习还有用吗？

2. 从 Base 模型启动 RL 与完全冷启动，究竟有多大差异？哪种方式更优？

3. 训练中，模型输出长度常呈现近似线性增长的 Scaling Law，但这种增长速度是否等同于推理能力的提升？

4. 当模型频繁使用 “verify” “check” 等反思性词汇时，是否意味着其推理能力增强了？哪些 token 能可靠反映推理性能的提升？

5.RL 是真正掌握了抽象推理能力，还是仅仅依赖问题模板的死记硬背？相比传统有监督微调（SFT），它的优势究竟体现在哪里？

6. 推理过程中，模型时常混用中文和英文，这种语言切换现象对性能提升是否有实际帮助，甚至是否可能有害？

随着强化学习 (RL) 训练进行，各观测指标变化。红线是模型回答长度，蓝线是验证集准确率，黄色散点是两种域外 (OOD) 的数学竞赛正确率，三者均保持稳定增长趋势：

测试时的计算量，自然而然地从数百 token，扩展到了数千 token，暗示着 RL 训练正在鼓励模型对思考路径进行不断的探索和修正。

在经过 5K 个逻辑问题的训练后，7B 模型就发展出了一些在逻辑语料库中原本不存在的高级推理技能 —— 如自我反思、验证和总结能力。在没见过的数学竞赛题 (AIME/AMC）上，各自取得了 125% 和 38% 的性能提升。

方法

数据设定

常见的数学训练集在问题难度上无明确界限，数学问题往往具有不定的逻辑深度、知识背景要求，对可控的分析实验不友好。于是为了分析推理模型的机制，作者转向了完全由程序合成的的「逻辑谜题」作为训练数据。

示例问题：一个非常特殊的岛屿上只住着骑士和骗子。骑士总是说真话，骗子总是说谎。你遇到两位岛民：Zoey 和 Oliver。Zoey 说：「Oliver 不是骑士。」Oliver 说：「Oliver 是骑士且 Zoey 是骗子。」请问，谁是骑士，谁是骗子？

这个「骑士与骗子」谜题，因其合成设计和逻辑精确性而非常适合进一步分析：

1. 谜题对于模型来说都是未见过的数据，非常适合用来测试泛化能力

2. 通过改变游戏人数（2 到 8 个）和逻辑运算的深度（1 到 4 种布尔运算符的组合），可以调节难度

3. 每个谜题都有一个单一、明确的正确答案，正确性由生成算法保证。解答需要严格的演绎推理，因此减少了奖励作弊的风险

4. 这消除了自然语言任务中常见的模糊性，使我们能够清晰地区分真正的推理能力和数据表面上的记忆能力。

奖励设计

模型起初会用作弊 (hack) 的方式来骗取奖励分：

跳过过程并直接回答。
将推理过程放在标签内。
反复猜测答案而没有适当的推理。
在提供答案之外包含无关的废话。
在已经输出一个后再次进入思考阶段，因为推理不足。
重复原始问题或使用诸如 “在此处进行思考过程” 之类的短语来避免真正的推理。

多轮迭代改进奖励函数后，作者设计出了一种几乎无法作弊的基于规则的奖励系统。仅包含两种奖励类型：格式奖励和答案奖励。思考标签应该严格按照顺序出现，且出现次数唯一，思考过程必须包含真正的推理，答案组织要可提取且可读。

格式奖励：按格式正确与否给 + 1 或 – 1 的奖励。
答案奖励：答案无法被提取，奖励为 – 2；答案部分错误时，奖励为 – 1.5，答案正确时，奖励为 + 2。

为了减少 Base 模型指令跟随难度（遵守先思考再回答的范式），作者建议直接把 < think > 标签手动加入 prompt 里。

实验结果

作者经过百组对比实验，对比了 PPO，GRPO，和 REINFORCE++。最后选择采用性价比最好的 REINFORCE++ 算法完成主实验。团队遵循 DeepSeek Math 论文的建议，改动了 REINFORCE++ 算法实现，提出了两点修正：将 KL 惩罚从 reward 计算提出，放进 loss 函数里；并且更换 KL 估计器，采用一种无偏非负的 KL 估计。

训练方式上，作者尝试了多组复杂调度 (例如高低温多阶段训练)，发现增益不高，由此决定采用最简单的训练方式：使用 4e-7 的学习率以及 0.7 的温度一训到底。经过 3.6K 步数的训练之后，模型超越 OpenAI o1 2 倍，直逼 o3-mini-high 的性能。