DeepSeek 爆火真相：AI 自主学会慢思考，无需人工监督

DeepSeek 的纯强化学习路线：如何颠覆传统认知

在近期的一次直播中，出门问问大模型团队前工程副总李维博士深入探讨了 DeepSeek 在推理范式上的创新及其对人工智能领域的贡献。DeepSeek 通过开源和透明化的方式，展示了无需过程监督即可训练出优秀推理模型的可能性，这大大颠覆了传统的认知以及 OpenAI 所暗示的需要在每一步监督推理强化学习的观点。

DeepSeek 的最大功绩：将一切透明化

李维博士指出，推理模型的强化学习一直是业界的难题。大约半年前，IIya 等人宣称预训练时代已经结束，意味着单纯依靠预训练模型规模扩展来提高性能的方法已不再奏效。因此，业界开始寻找新的增长路径，推理大模型逐渐成为焦点。然而，这一领域长期被少数头部玩家如 Google 和 Anthropic 所垄断，其他团队对此知之甚少。

DeepSeek 的最大功绩在于它将这一切透明化。其模型和技术论文全部开源，甚至公开了思维链的所有内容。通过纯粹的强化学习，DeepSeek 证明了即使没有过程控制数据，仅通过结果控制也能达到头部推理大模型的水平。这种透明化为更多团队提供了可复制的成功经验，推动了强化学习的平民化进程。

推理范式的创新：从抽象到具体

为了更好地理解这些创新，李维博士以 DeepSeek 的 R1 论文为例进行了详细说明。R1 论文分为两部分：一部分是关于 Zero 的研究，另一部分则是基于 Zero 研究成果的实用系统 R1。Zero 的研究尤其引人注目，它证明了一个颠覆性的观点：与传统认知不同，实际上并不需要过程监督。仅通过最终结果作为监督信号，就能训练出推理大模型所需的“慢思考”过程。

具体来说，推理模型最初以数学和代码为对象，因为这些领域本身就存在标准答案。DeepSeek 的解决方案是通过设计一个简单模板引导模型进行思考，即在传统的监督数据 question+answer 中人为增加了一个标签 [think]，形成 question+[think]+answer 的结构。通过强化学习的方式，模型会自主填空，生成过程数据 question+cot+answer，从而迭代学习并自动生成思维链（CoT，Chain of Thought）。这种方法不仅让模型具备了深度思考的能力，还极大地简化了训练过程。

避免跑偏：确保动态推理路径的准确性

面对动态推理路径可能带来的风险，例如写代码时突然开始写诗，李维博士表示这种可能性几乎不存在。所有这些推理的强化学习，包括自主生成的推理思维链的数据，都是建立在原有强大基座模型（如 V3）的基础上。这些大模型在海量数据的学习过程中，已经很好地掌握了如何把话说得顺溜，背后隐藏的是条理性。

因此，模型在原有大模型的基础上生成数据，经过筛选和强化学习迭代，会越来越条理化。这种思考方式本身是由大模型自然生成的，再加上有选择机制不断强化，使其越来越符合逻辑地导向正确答案。最终，即使思维链中有时会出现一些偏差，但总体目标一致，最终还是能学到推理高难度题目的能力。

小编建议来看，DeepSeek 的创新不仅在于技术突破，更在于其开放的态度和透明化的实践。通过这种方式，DeepSeek 为整个行业提供了宝贵的参考，也为未来的发展指明了方向。