INCOMING TRANSMISSION

最优策略（Optimal Policy ） 之前在 贝尔曼方程（Bellman Equation) 中说过， 状态值可以用来评估一个策略是好是坏 ，这里给出正式的概念： \[v_{\pi_1}(s) \geq v_{\pi_2}(s) \quad \text { for all } s \in \mathcal{S}\] 那么此时 \(\pi_1\) 比 \(\pi_2\) ”更好“ 最优状态值（Optimal State Value） ： 对于任意状态 \(s\) ，最优状态值 \(v^*(s)\) 是所有可能策略中状态值的最大值： \[v^*(s) = \max_{\pi} v_{\pi}(s)\] 其中 \(v_{\pi}(s)\) 是策略 \(\pi\) 下的状态值。 最优策略（Optimal Policy） ： 如果一个策略的状态值在所有状态中均大于或等于其他策略的状态值，则该策略为最优策略： \[\pi^* = \arg\max_{\pi} v_{\pi}(s), \forall s \in S\] 即最优策略总是选择使得状态值最大的动作。 性质 ： 存在性...

状态价值（State values） 定义 状态价值是强化学习中的核心概念，用于衡量Agent从某个状态出发、遵循特定策略后所能获得的期望回报。 数学表达为： \[ v_\pi(s) = \mathbb{E}[G_t | S_t = s] \tag{1}\] 其中： \(v_\pi(s)\) ：状态 \(s\) 的状态价值函数（state-value function） 或者简称为 状态价值（state value）； \(\pi\) ：智能体遵循的策略； \(G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots\) ：从当前时间步 \(t\) 开始的折扣回报； \(\gamma \in (0, 1)\) ：折扣因子，用于平衡即时奖励和未来奖励。 状态价值的特点 依赖于状态 \(s\) ：状态价值是条件期望，条件是智能体从状态 \(s\) 开始。 依赖于策略 \(\pi\) ：不同策略会生成不同的轨迹，从而影响状态价值。 与时间步无关 ：状态价值是一个固定值，与当前时间步 \(t\) 无关。 代表一个状态的价值。...

引言 时序差分（Temporal-Difference，TD）方法是强化学习中的一类核心算法，它结合了动态规划与蒙特卡洛方法的优点。TD方法是无模型（model-free）学习方法，不需要环境模型即可学习价值函数和最优策略。 TD方法的核心特点是通过比较不同时间步骤的估计值之间的差异来更新价值函数，这种差异被称为"时序差分误差"（TD error）。TD方法可以被视为解决贝尔曼方程或贝尔曼最优方程的特殊随机逼近算法。 基础TD算法：状态值函数学习 给定策略 \(\pi\) ，基础TD算法用于估计状态值函数 \(v_\pi(s)\) 。假设我们有一些按照策略 \(\pi\) 生成的经验样本 \((s_0, r_1, s_1, ..., s_t, r_{t+1}, s_{t+1}, ...)\) ，TD算法的更新规则为： \[\begin{equation}\begin{aligned}v_{t+1}(s_t) &= v_t(s_t) - \alpha_t(s_t)[v_t(s_t) - (r_{t+1} + \gamma v_t(s_{t+1}))]\\ v_{t+1}(s) &=...

概述与理论背景 Actor-Critic方法是强化学习中的一类重要算法， 它巧妙地结合了基于策略(policy-based)和基于价值(value-based)的方法 。在这种结构中， "Actor"指策略更新步骤，负责根据策略执行动作；而"Critic"指价值更新步骤，负责评估Actor的表现 。从另一个角度看，Actor-Critic方法本质上仍是策略梯度算法，可以通过扩展策略梯度算法获得。 Actor-Critic方法在强化学习中的位置非常重要，它既保留了策略梯度方法直接优化策略的优势，又利用了值函数方法的效率。这种结合使得Actor-Critic方法成为解决复杂强化学习问题的强大工具。 最简单的Actor-Critic算法(QAC) QAC算法通过扩展策略梯度方法得到。策略梯度方法的核心思想是通过最大化标量度量 \(J(\theta)\) 来搜索最优策略。其梯度上升算法为： \[\begin{equation}\begin{aligned}\theta_{t+1} &= \theta_t + \alpha\nabla_\theta J(\theta_t)\\&=...

引言与背景 策略梯度方法是强化学习中的一种重要方法，它标志着从基于价值的方法向基于策略的方法的重要转变。之前我们主要讨论了基于价值的方法（value-based），而策略梯度方法则直接优化策略函数(policy-based)，这是一个重要的进步。 当策略用函数表示时，策略梯度方法的核心思想是 通过优化某些标量指标来获得最优策略 。与传统的表格表示策略不同，策略梯度方法使用参数化函数 \(\pi(a|s, \theta)\) 来表示策略，其中 \(\theta \in \mathbb{R}^m\) 是参数向量。这种表示方法也可以写成其他形式，如 \(\pi_\theta(a|s)\) 、 \(\pi_\theta(a, s)\) 或 \(\pi(a, s, \theta)\) 。 策略梯度方法具有多种优势： 更高效地处理大型状态/动作空间 具有更强的泛化能力 样本使用效率更高 策略表示：从表格到函数 当策略的表示从表格转变为函数时，存在以下几个关键区别： 最优策略的定义 ： 表格表示：最优策略是使每个状态值最大化的策略 函数表示：最优策略是使某些标量指标最大化的策略 策略更新方式 ：...

引言与背景 价值函数方法是强化学习中的核心技术，它解决了传统表格方法在处理大型状态或动作空间时的效率问题。本文探讨了从表格表示向函数表示的转变，这是强化学习算法发展的重要里程碑。 在强化学习的发展路径中，价值函数方法位于从基于模型到无模型、从表格表示到函数表示的演进过程中。它结合了时序差分学习的思想，并通过函数近似技术来处理复杂环境。 价值表示：从表格到函数 表格与函数表示的对比 传统的表格方法将状态值存储在一个表格中： 状态 \(s_1\) \(s_2\) \(\cdots\) \(s_n\) 估计值 \(\hat{v}(s_1)\) \(\hat{v}(s_2)\) \(\cdots\) \(\hat{v}(s_n)\) 而函数近似方法则使用参数化函数来表示这些值，例如： \[\hat{v}(s, w) = as + b = [s, 1] \begin{bmatrix} a \\ b \end{bmatrix} = \phi^T(s)w\] 其中 \(\phi(s)\in\mathbb{R}^2\) 称作是状态 \(s\) 的特征向量， \(w\) 是参数向量。...

引言 大语言模型（LLMs）在近年来取得了显著进展，展现出上下文学习、指令跟随和逐步推理等突出特性。然而，由于这些模型是在包含高质量和低质量数据的预训练语料库上训练的，它们可能会表现出编造事实、生成有偏见或有毒文本等意外行为。因此，将LLMs与人类价值观对齐变得至关重要，特别是在帮助性、诚实性和无害性（3H）方面。 基于人类反馈的强化学习（RLHF）已被验证为有效的对齐方法，但训练过程复杂且不稳定。本文深入分析了RLHF框架，特别是PPO算法的内部工作原理，并提出了PPO-max算法，以提高策略模型训练的稳定性和效果。 RLHF的基本框架 RLHF训练过程包括三个主要阶段： 监督微调（SFT） ：模型通过模仿人类标注的对话示例来学习一般的人类对话方式， 优化模型的指令跟随能力 奖励模型（RM）训练 ：模型学习基于人类反馈比较不同回复的偏好 近端策略优化（PPO） ：模型基于奖励模型的反馈进行更新，通过探索和利用来发现优化的策略 奖励建模（Reward Model） 奖励模型使用预训练的基于Transformer的语言模型，...

概念 符号 定义 来源 用途 特点 Reward \(r_t\) ​ 即时奖励 环境 基础信号 局部、即时 Return \(G_t​\) \(Σ γ^k·r_{t+k}\) 计算 Value训练目标 实际、高方差 Value \(V(s)\) \(E[G_t|s_t=s]\) 模型 状态评估 预测、期望 Q-Value \(Q(s,a)\) \(E[G_t|s_t=s,a_t=a]\) 模型 动作评估 更细粒度 Advantage \(A(s,a)\) \(Q(s,a) - V(s)\)  计算 Policy更新 相对、低方差 GAE \(GAE(λ)\) 加权Advantage 算法 优势估计 平衡bias-variance 引言 Trust Region Policy Optimization (TRPO) 是2015年的ICML会议上提出的一种强大的基于策略的强化学习算法。TRPO 解决了传统策略梯度方法中的一些关键问题，特别是训练不稳定和步长选择困难的问题。与传统策略梯度算法相比，TRPO 具有更高的稳健性和样本效率，能够在复杂环境中取得更好的性能。 优化基础...

强化学习基础 RL基础概念 贝尔曼方程（Bellman Equation) 贝尔曼最优方程(Bellman Optimality Equation) 价值迭代和策略迭代 强化学习Model-Free之蒙特卡洛 强化学习Model-Free之时序差分 从价值函数到DQN 策略梯度方法（Policy Gradient Methods） Actor-Critic Methods 改进算法 从DPG到DDPG Policy Gradient 优化：TRPO，PPO LLM中的RL RLHF in LLM DPO(Direct Preference Optimization) GRPO(Group Relative Policy Optimization) 从GRPO到GSPO、DAPO

概述 在计算机视觉领域（CV），对视觉特征的理解CNN是长期处于主导地位的。而在NLP领域，Transformer框架的巨大成功，也激发了不少研究者探索将Transformer用于计算机视觉任务。ViT（Vision Transformer）的出现标志着在CV领域Transformer架构迈出了重要的一步。尤其在当前结合LLM的多模态探索上（MM-LLM），都是以LLM大语言模型为骨干架构的模型，多种模态的信息需要先做token化处理，再输入到LLM模型。ViT天然具有序列化特征的建模能力，自然在MM-LLM探索中大放异彩~ ViT在多模态模型中的角色类似于自然语言建模中的Tokenizer组件，对图像进行视觉特征编码，产出图像的序列特征。只不过ViT的编码过程本身也是采用了Transformer的模型结构。 本文主要结合几篇paper和源码讲讲ViT和针对ViT的一些优化方法~ ViT（Vision Transformer）...

💡 GRPO相比PPO主要优势： 1. 训练更稳定 引入 KL 散度惩罚项，有效控制策略更新的幅度，避免策略崩溃，提高训练的稳定性 GRPO用组内相对优势替代value model，消除了value估计误差 通过组内归一化，自动消除reward scale和bias的影响 实验中发现GRPO的advantage方差比PPO小30%左右，训练崩溃率更低 2. 工程更简单 只需要1-2个模型（policy + reference），而PPO需要4个 显存占用减少50%以上，训练速度提升2-3倍 超参数更少，更容易调优 3. 相对奖励机制 通过对同一输入生成的多个输出进行比较，GRPO 能够更稳定地估计优势函数，减少了训练过程中的方差 背景 GRPO是 DeepSeek-Math model中提出的对PPO方法的改进策略： 强化学习(RL)在提升模型数学推理能力方面被证明是有效的 传统PPO算法需要较大训练资源 GRPO作为PPO的变体被提出,可以更高效地优化模型 PPO Vs GRPO PPO回顾 PPO的目标函数为: \[\begin{aligned}J_{PPO}(\theta) =...

比起两年前，NLG任务已经得到了非常有效的发展，transformers模块的使用广泛程度也达到前所未有的程度。在模型推理预测时，一个核心的语句就是 model.generate() ，本文就来详细介绍一下generate方法是如何运作的。在生成的过程中，包含了诸多生成策略，本文将以最常用的beam search为例，尽可能详细地展开介绍。 随着各种LLM的出现，transformers中与generate相关的代码发生了一些变化，主要区别在于： generate的源码位置发生了改变； generate方法中，采用一个 generation_config 参数来管理生成相关的各种配置，并优化了逻辑，使得逻辑更加清晰。 generate的代码位置 在之前版本的transformers中（transformers~=4.9），generate方法位于 transformers.generation_utils.py ，这个方法是 GenerationMixin 类的一个方法。 而在新版本的transformers中（transformers~=4.42），generate方法被转移到了...