大模型

摘要 移除建模约束和统一跨领域的架构一直是训练大型多模态模型取得最新进展的关键驱动因素。然而，大多数这些模型仍然依赖于许多单独训练的组件，例如特定模态的编码器和解码器。在这项工作中，我们进一步简化了图像和文本的联合生成建模。我们提出了一种 autoregressive decoder-only transformer—JetFormer—它被训练来直接最大化原始数据的似然，而不依赖于任何单独预训练的组件，并且能够理解和生成文本和图像。具体来说，我们利用归一化流模型来获得一个软Token图像表示，该表示与自回归多模态Transformer联合训练。归一化流模型在推理期间既充当感知任务的图像编码器，又充当图像生成任务的图像解码器。JetFormer实现了与最近基于VQVAE和VAE的基线模型相媲美的文本到图像生成质量。这些基线模型依赖于预训练的图像自动编码器，这些自动编码器使用包括感知损失在内的复杂损失混合进行训练。与此同时，JetFormer展示了强大的图像理解能力。据我们所知，JetFormer是第一个能够生成高保真图像并产生强大的对数似然边界的模型。 介绍 “痛苦的教训”一直是机器学习和人工智能研究近期进展背后的主要推动力。 它表明，能够有效利用大量计算资源和数据的一般用途方法，胜过领域专家设计的专用技术。 在此背景下，最突出的例子包括：仅使用 Transformer 解码器的模型，这些模型经过训练用于下一个 Token 预测，其性能优于特定任务的 NLP 系统；以及计算机视觉中的 Transformer 编码器，它们实现了比基于 CNN 的模型更好的质量。 这种趋势在当前将大语言模型 (LLM) 扩展到理解和生成多种模态（例如文本和图像）的尝试中也很明显。 文献中一个有效的范例是使用通过 (VQ)VAE 获得的离散 Token 来建模图像 Token。 这些方法的一个局限性在于，从图像到 Token 以及反之的转换是由一个单独的、冻结的、特定于模态且有损的编码器（和解码器）预先执行的。 因此，此图像编码器可能与手头的实际任务无关，从而限制了最终模型的性能。 为了获得一个能够生成多种模态，且不依赖于预训练（具有局限性）组件的通用架构，我们开发了一种新的生成模型：JetFormer。 它可以从头开始训练，并针对原始训练数据的对数似然进行端到端优化。 我们以文本和像素为例展示了这一点。 为此，我们将用于计算软 Token 图像表示的归一化流与仅解码器的 Transformer 以及软 Token 高斯混合损失相结合。 JetFormer 模型背后的关键洞察在于，强大的归一化流（我们称之为 “jet”，因此得名）可用于将图像编码成适合自回归建模的潜在表示。 直观地说，编码为像素的原始图像块具有非常复杂的结构，这使得直接自回归变得困难重重： 迄今为止，还没有令人信服的演示能够成功实现这一点。 同时，该流模型是无损的，并且可以与（多模态）自回归模型一起进行端到端训练。 在推理时，图像解码器可以随时使用，因为我们的流模型具有闭合形式的可逆性。 尽管我们仅优化对数似然，但值得注意的是，仅仅这样做并不能保证生成具有全局连贯性的图像。与绝大多数关于高保真图像生成的工作类似，我们引导模型专注于高层次的信息。为此，我们探索了两种方法。首先，我们引入了一种基于训练期间图像增强的创新技术。其主要思想是在训练期间添加高斯噪声，并在训练过程中逐渐降低噪声。直观地说，这促使模型在早期阶段优先考虑高层次的信息；即使训练期间的噪声curriculum 受到扩散模型的启发，但在技术层面上却截然不同，并且最终的模型在推理时不会执行渐进式图像去噪。 其次，我们探索了两种管理自然图像中冗余信息的方法。JetFormer 能够轻松地从自回归模型中排除冗余维度的子集。作为一种替代方案，我们探索了使用 PCA 来降低图像维度。我们对 ImageNet 类条件图像生成和网络规模的多模态生成进行了实验，从而证明了 JetFormer 的有效性，并且可以使用单个模型扩展到文本到图像生成和视觉语言理解。 总之，我们的贡献是： 我们提出了 JetFormer，一个由 Transformer 和归一化流组成的生成模型，可以从头开始训练，以端到端的方式联合建模文本和原始像素。 我们表明，基于噪声学习curriculum的图像增强可以显著提高此类基于似然性的模型的图像生成质量。 我们证明了我们提出的端到端模型在网络规模数据上训练时，与不太灵活的技术相比具有竞争力，并且可以生成图像和文本。 相关工作 在文献中，使用 CNN 或 Transformer 以自回归的方式生成自然图像作为离散值像素序列已被广泛探索。 虽然在对数似然方面取得了优异的结果，但这些模型的计算成本很高，并且无法很好地扩展到高图像分辨率。 一系列相关的模型是归一化流，即可逆模型，通过最大化对数似然来训练这些模型，以将图像像素映射到简单的先验。 这些模型的可扩展性更好，但获得的似然性低于自回归模型，并且即使对于低分辨率，在经验上也无法生成高保真图像。 ...

Claude这样的语言模型其实并非人类手把手编写出来——相反，它们是在大量数据上进行训练的。在训练过程中，它们学习自己的策略来解决问题。这些策略被编码在模型为每个词语所执行的数十亿次计算中。对于我们这些模型的开发者来说，这些策略难以解析理解。这意味着我们不理解模型是如何完成大多数任务的。 了解像Claude这样的模型如何思考，将使我们能够更好地理解它们的能力，并帮助我们确保它们正在执行我们期望的任务。例如： Claude可以说几十种语言。它在"思考"时使用的是什么语言，如果有的话？ Claude一次写一个词。它是只专注于预测下一个词，还是有时会提前规划？ Claude可以一步一步地写出它的推理过程。这种解释是否代表了它得出答案的实际步骤，或者它有时是为既定结论编造一个看似合理的论证？ 我们从神经科学领域获得灵感，该领域长期以来一直研究思考生物的复杂内部机制，并尝试构建一种AI显微镜，让我们能够识别活动模式和信息流。仅仅通过与AI模型对话所能了解的内容是有限的——毕竟，人类（甚至神经科学家）也不知道我们自己的大脑是如何运作的所有细节。所以我们深入内部一探究竟。 今天，我们分享两篇新论文，这些论文代表了"显微镜"开发方面的进展，以及将其应用于观察新的"AI生物学"。在第一篇论文中，我们扩展了之前在模型内部定位可解释概念（“特征”）的工作，将这些概念连接成计算"circuit"，揭示了将输入Claude的词转化为输出词的部分路径。在第二篇论文中，我们深入研究了Claude 3.5 Haiku内部，对代表十种关键模型行为的简单任务进行了深入研究，包括上述三种行为。我们的方法揭示了Claude响应这些提示词时发生的部分过程，这足以看到确凿的证据： 首先，Claude有时会在多种语言共享的概念空间中思考，这表明它拥有一种通用的"思想语言"。我们通过将简单句子翻译成多种语言并追踪Claude处理它们时的重叠部分来证明这一点。 其次，Claude会提前规划它要说的许多词，并为达到目标而写作。我们在诗歌领域展示了这一点，它会提前考虑可能的押韵词，并编写下一行诗句以达到押韵。这有力地证明，即使模型被训练为一次输出一个词，它们也可能在更长的时间范围内进行思考。 此外，Claude有时会给出一个听起来合理的论点，这个论点旨在附和用户而非遵循逻辑步骤。我们通过在给出错误提示的情况下要求它帮助解决一个困难的数学问题来展示这一点。我们能够"当场抓住"它编造假推理的过程，从而证明我们的工具可用于标记模型中令人担忧的机制。 我们经常对模型中看到的东西感到惊讶：在诗歌案例研究中，我们原本打算证明模型没有提前规划，但却发现它确实有这样做。在一项关于幻觉的研究中，我们发现了一个反直觉的结果——Claude的默认行为是在被问及问题时拒绝推测，它只会在某些因素抑制这种默认的不情愿时才回答问题。在回应一个越狱示例时，我们发现模型在能够优雅地将对话拉回正轨之前，就已经认识到它被要求提供危险信息。 虽然我们研究的问题可以（而且经常）通过其他方法进行分析，但通用的"构建显微镜"方法让我们学到了许多我们原本不会猜到的东西，这在模型变得更加复杂时将变得越来越重要。 这些发现不仅具有科学意义，它们还代表了我们在理解AI系统并确保其可靠性方面的重大进展。我们也希望它们对其他团体有所帮助，并可能在其他领域有所应用：例如，可解释性技术已在医学成像和基因组学等领域找到应用，因为解剖为科学应用而训练的模型的内部机制可以揭示关于科学的新见解。 同时，我们也认识到我们当前方法的局限性。即使对于简短、简单的提示词，我们的方法也只能捕获Claude执行的总计算的一小部分，而且我们看到的机制可能基于我们的工具有一些与底层模型实际情况不符的人工痕迹。目前，即使只是几十个词的提示词，理解我们看到的circuit也需要几个小时的人力。要扩展到支持现代模型使用的复杂思维链的数千个词，我们需要改进方法，并且（可能在AI的帮助下）改进我们理解所见的方式。 随着AI系统迅速变得更加强大并被部署在越来越重要的环境中，Anthropic正在投资一系列方法，包括实时监控、模型特性改进和对齐科学。像这样的可解释性研究是风险最高、回报最高的投资之一，这是一个重大的科学挑战，有可能提供一个独特的工具，确保AI是透明的。对模型机制的透明度使我们能够检查它是否与人类价值观一致，以及它是否值得我们信任。 有关完整详情，请阅读论文。下面，我们邀请您简要了解我们调查中一些最引人注目的"AI生物学"发现。 AI 生物学之旅 Claude 是如何实现多语言能力的？ Claude 能流利地说数十种语言——从英语和法语到中文和塔加洛语。这种多语言能力是如何运作的？是否有独立的"法语 Claude"和"中文 Claude"并行运行，各自用自己的语言回应请求？还是内部存在某种跨语言的核心？ 英语、法语和中文之间存在共享特征，表明概念存在一定程度的普遍性。 对较小模型的最新研究显示，不同语言之间存在共享的语法机制迹象。我们通过在不同语言中询问 Claude “small（小）的反义词"来进行调查，发现表示"小"和"反义"这些概念的相同核心特征被激活，并触发了"大"的概念，然后这个概念被翻译成问题所用的语言。我们发现，随着模型规模的增加，共享神经回路也增加，与较小的模型相比，Claude 3.5 Haiku 在语言之间共享的特征比例增加了两倍多。 这为概念通用性提供了额外的证据——一种共享的抽象空间，在这个空间中存在意义，思考可以在被翻译成特定语言之前发生。更实际地说，这表明 Claude 可以在一种语言中学习某些内容，并在使用另一种语言时应用这些知识。研究模型如何在不同上下文中共享其知识，对于理解其最先进的推理能力至关重要，这些能力可以跨多个领域进行泛化。 Does Claude plan its rhymes? Claude 如何写押韵诗歌？考虑这首小曲： He saw a carrot and had to grab it, His hunger was like a starving rabbit 要写出第二行，模型必须同时满足两个约束：需要押韵（与第一行末尾"抓起来"押韵），以及需要语义通顺（解释他为什么要抓胡萝卜）。我们的猜测是，Claude是逐字写作的，没有太多提前考虑，直到行尾才确保选择一个押韵的词。因此，我们预期会看到一个具有并行路径的神经网络结构，一条路径确保最后一个词语义合理，另一条确保它能押韵。 然而，我们发现Claude实际上会提前规划。在开始写第二行之前，它就开始"思考"与"抓起来"押韵且与主题相关的潜在词汇。然后，带着这些计划，它创作出一行以预先规划好的词作为结尾。 为了理解这种规划机制在实践中如何运作，我们进行了一项实验，其灵感来自神经科学家研究大脑功能的方式——通过精确定位并改变大脑特定部位的神经活动（例如使用电流或磁流）。在此实验中，我们修改了Claude内部状态中代表"兔子"概念的部分。当我们去除"兔子"这一概念，并让Claude继续完成这行诗句时，它写出了一个以"习惯"结尾的新诗句，这是另一个合理的补全。我们还可以在同一位置注入"绿色"的概念，这会促使Claude写出一个合理的（但不再押韵的）诗句，该诗句以"绿色"结尾。这一实验既展示了Claude的规划能力，也展示了其适应性灵活性——当预期结果发生变化时，Claude能够相应地调整其方法。 心算 Claude 并非设计为计算器——它是在文本上训练的，而非配备数学算法。但不知何故，它能在"脑中"正确地进行加法运算。一个训练用来预测序列中下一个词的系统，是如何学会计算，比如 36+59，而不用写出每一步呢？ 也许答案并不有趣：模型可能已经记忆了大量的加法表，并且简单地输出任何给定和的答案，因为该答案存在于其训练数据中。另一种可能性是它遵循我们在学校学习的传统手工加法算法。 ...

SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild 摘要 DeepSeek-R1 已经表明，通过一个简单的强化学习（RL）框架，结合基于规则的奖励，长链式思考（CoT）推理可以自然地涌现。在这种框架下，训练可以直接从基础模型开始——这种范式被称 zero RL training。 近期，许多尝试复现零 RL 训练的工作主要集中在 Qwen2.5 模型系列上，但这可能不具有代表性，因为我们发现这些基础模型已经展现出强大的指令遵循和自我反思能力。 在这项工作中，我们研究了 10 个不同的基础模型上的零 RL 训练，这些模型涵盖了不同的系列和规模，包括 LLama3-8B、Mistral-7B/24B、DeepSeek-Math-7B、Qwen2.5-math-7B 以及所有 Qwen2.5 模型（从 0.5B 到 32B）。 通过利用几个关键的设计策略——例如调整格式奖励和控制查询难度——我们在大多数设置中都实现了推理准确性和响应长度的显著提高。 然而，通过仔细监控训练动态，我们观察到不同的基础模型在训练过程中表现出不同的模式。 例如，响应长度的增加并不总是与某些认知行为的出现相关，例如验证（即“顿悟时刻”）。 值得注意的是，我们首次在非 Qwen 系列的小模型中观察到“顿悟时刻”。 我们分享了实现成功零 RL 训练的关键设计，以及我们的发现和实践。 为了促进进一步的研究，我们开源了代码、模型和分析工具。 介绍 回应长度的增加并不总是意味着“顿悟时刻”——有趣的是，对于构成当前大多数开源项目基础的 Qwen2.5 模型，尽管回应长度有所增加，我们并未观察到诸如自我反思等认知行为的频率有所上升。 我们首次观察到，在 Qwen 系列之外的小型模型中，尤其是在 Llama3-8B 和 DeepSeek-Math-7B 模型中，特定认知推理行为（例如验证）的频率显著增加。 强制执行严格的格式奖励（例如，将答案置于特定格式的框内）会显著抑制模型的探索能力，特别是对于那些最初难以遵循指令的基础模型。这种限制会降低它们的性能上限，并常常导致过度思考的行为。 训练数据的难度级别必须与基础模型的内在探索能力紧密对齐，否则零样本强化学习 (zero RL) 将会失败。 与 @shao2024deepseekmath 中的观察结果相反，零样本强化学习 (zero RL) 训练将 pass@k 准确率提高了 10-30 个绝对百分点，这是一个强有力的证据，证实零样本强化学习 (zero RL) 训练不仅仅是重新排序响应。 ...

摘要 我们通过分析其两个核心组成部分：基础模型和强化学习，来批判性地检验类似 R1-Zero 的训练方法。 我们研究了包括 DeepSeek-V3-Base 在内的各种基础模型，以了解预训练特征如何影响强化学习的性能。 我们的分析表明，DeepSeek-V3-Base 已经表现出“顿悟时刻”，而 Qwen2.5 基础模型即使没有提示词模板也表现出强大的推理能力，这表明可能存在预训练偏差。 此外，我们发现 GRPO 中存在优化偏差，这会在训练期间人为地增加响应长度（特别是对于不正确的输出）。 为了解决这个问题，我们引入了 Dr. GRPO，这是一种无偏的优化方法，可以在保持推理性能的同时提高 Token 效率。 利用这些见解，我们提出了一个极简的 R1-Zero 配方，该配方使用 7B 基础模型在 AIME 2024 上实现了 43.3% 的准确率，从而建立了新的最先进水平。 1 介绍 在本文中，我们旨在通过研究两个关键组成部分来理解类 R1-Zero 训练：基础模型和强化学习 (RL)。 在第一部分，我们研究基础模型的各项属性，重点关注 Qwen2.5 模型系列，该模型系列已被用于近期复现 R1-Zero 的尝试，真实的 R1-Zero 模型正是基于该模型通过强化学习 (RL) 进行微调得到的。 在第二部分，我们指出了 GRPO 优化中存在的偏差，该偏差可能导致模型生成越来越长的错误回复。 为此，我们提出了一种简单的修改方案来消除这种偏差，即获得正确的 GRPO (Dr. GRPO)，从而提高 Token 效率（如图 1 所示）。 我们对基础模型和强化学习 (RL) 的分析表明，R1-Zero 训练存在一种极简方案：我们使用 (无偏) Dr. GRPO 算法，在 MATH (Hendrycks et al., 2021) 数据集难度等级 3-5 的问题上，利用 Qwen-Math 模板对 Qwen2.5-Math-7B 进行强化学习微调。仅使用 8 × A100 GPU 上 27 小时的计算，我们就实现了最先进的性能（图 2）。 ...

新发布的 3 小时 31 分钟 YouTube 视频-免费： 1. 讲师 Andrej 是 OpenAI 的创始成员之一（2015 年），随后担任特斯拉 AI 高级总监（2017-2022 年），现在他是 Eureka Labs 的创始人，该公司正在构建一所 AI 原生的学校。 2. 内容 这是一个面向大众的深度探讨，介绍了支撑 ChatGPT 及相关产品的大语言模型（LLM）AI 技术。视频涵盖了模型开发的完整训练流程，包括如何理解它们的“心理学”模型，以及如何在实际应用中最好地利用它们。 我们涵盖了所有主要阶段： 预训练：数据、分词、Transformer 神经网络的输入输出和内部结构、推理、GPT-2 训练示例、Llama 3.1 基础推理示例 监督微调：对话数据、“LLM 心理学”：幻觉、工具使用、知识/工作记忆、自我认知、模型需要 Token 来思考、拼写、不均衡的智能 强化学习：熟能生巧、DeepSeek-R1、AlphaGo、RLHF（基于人类反馈的强化学习）。 我为视频的“大众受众”系列设计了这一内容，相信即使没有技术背景的人也能理解。它将帮助你直观地了解 ChatGPT 等大语言模型的完整训练流程，并提供了许多示例，或许还能启发你思考当前的能力、现状以及未来的发展方向。 （此外，我大约一年前已经发布了一个“LLM 入门”视频，但那只是随机演讲的重新录制，所以我希望围绕这一主题做一个更全面的版本。两者仍然可以结合观看，因为演讲更深入地探讨了其他主题，例如 LLM 操作系统和 LLM 安全性。） 希望视频有趣且有用！ 3. 章节 00:00:00 介绍 00:01:00 预训练数据（互联网） 00:07:47 分词 00:14:27 神经网络输入输出 00:20:11 神经网络内部结构 00:26:01 推理 00:31:09 GPT-2：训练与推理 00:42:52 Llama 3.1 基础模型推理 ...