INCOMING TRANSMISSION

LATEST UPDATES
ALL WIP FAV

从MHA、MQA、GQA到MLA

Large Model
2025-09-09
DeepSeekV2的发布引起了大家的热烈讨论。首先，最让人哗然的是1块钱100万token的价格，普遍比现有的各种竞品API便宜了两个数量级，以至于有人调侃“这个价格哪怕它输出乱码，我也会认为这个乱码是一种艺术”；其次，从模型的技术报告看，如此便宜的价格背后的关键技术之一是它新提出的MLA（Multihead Latent Attention），这是对GQA的改进，据说能比GQA更省更好，也引起了读者的广泛关注。 接下来，本文将跟大家一起梳理一下从MHA、MQA、GQA到MLA的演变历程，并着重介绍一下MLA的设计思路。 MHA MHA（MultiHead Attention），也就是多头注意力，是开山之作《Attention is all you need》所提出的一种Attention...
#LLM
READ

VAE 变分自编码器

Generative Model
2025-09-08
分布变换 通常我们会拿VAE跟GAN比较，的确，它们两个的目标基本是一致的——希望构建一个从隐变量 Z 生成目标数据 X 的模型，但是实现上有所不同。更准确地讲，它们是假设了 Z 服从某些常见的分布（比如正态分布或均匀分布），然后希望训练一个模型 X=g(Z) ，这个模型能够将原来的概率分布映射到训练集的概率分布，也就是说，它们的目的都是进行分布之间的变换。 生成模型的难题就是判断生成分布与真实分布的相似度，因为我们只知道两者的采样结果，不知道它们的分布表达式 那现在假设 Z 服从标准的正态分布，那么我就可以从中采样得到若干个 [Math] ，然后对它做变换得到 [Math] ，我们怎么判断这个通过 g 构造出来的数据集，它的分布跟我们目标的数据集分布是不是一样的呢？有读者说不是有KL散度吗...
#VAE #Generating Model
READ

EDM

Generative Model
2025-09-08
基于文章《Elucidating the Design Space of DiffusionBased Generative Models》来统一扩散模型框架 💡 统一扩散模型框架： 通用扩散模型框架推导 加噪公式 Flow Matching的一步加噪公式 Score Matching的一步加噪公式 DDPM/DDIM的一步加噪公式 其中， [Math] 都是原始图像， [Math] 通用加噪公式形式探索 发现这三者存在一定的规律，写成一个通用形式： 那这个形式一定对应一个随机微分方程，这个方程的解可以描述 x_t 分布的变化： 根据DDPM和SMLD的推导结果，实际上 我们通常将漂移项简化为线性形式： [公式] 简化后的SDE形式为： [公式] 均值 SDE均值定义： m(t) = E[x...
#diffusion #flow #SDE #ODE
READ

Attention的初始化、参数化与标准化

NLP
2025-09-03
问题引入 前几天在训练一个新的Transformer模型的时候，发现怎么训都不收敛了。经过一番debug，发现是在做Self Attention的时候 [Math] 之后忘记除以 [Math] 了，于是重新温习了一下为什么除以 [Math] 如此重要的原因。当然，Google的T5确实是没有除以 [Math] 的，但它依然能够正常收敛，那是因为它在初始化策略上做了些调整，所以这个事情还跟初始化有关。 藉着这个机会，本文跟大家一起梳理一下模型的初始化、参数化和标准化等内容，相关讨论将主要以Transformer为心中展开。 参数初始化 采样分布 初始化自然是随机采样的的，所以这里先介绍一下常用的采样分布。一般情况下，我们都是从指定均值和方差的随机分布中进行采样来初始化。其中常用的随机分布有三个...
#transformer
READ

标准化系列

Deep Learning
2025-09-03
Batch Normalization 什么是批归一化（Batch Normalization） 以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过 [Math] 这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。 这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization（BN）。 其作用在整个minibatch上，沿着C维度对N,H,W三个维度进行归一化。具体来说，就是把第1个样本的第1个通道，加...
READ

生成理解统一模型概述

Large Model
2025-09-01
Chameleon：生成理解统一模型的开山之作 🔖 https://arxiv.org/pdf/2405.09818 Chameleon 是一个既能做图像理解，又可以做图像或者文本生成任务的，从头训练的 Transformer 模型。完整记录了为实现 mixedmodal 模型的架构设计，稳定训练方法，对齐的配方。并在一系列全面的任务上进行评估：有纯文本任务，也有图像文本任务 (视觉问答、图像字幕)，也有图像生成任务，还有混合模态的生产任务。 如下图所示，Chameleon 将所有模态数据 (图像、文本和代码) 都表示为离散 token，并使用统一的 Transformer 架构。训练数据是交错混合模态数据 ∼10T token，以端到端的方式从头开始训练。文本 token 用绿色表示，图像...
#Large Model #VLM #LLM
READ

RealNVP与Glow：流模型的传承与升华

Generative Model
2025-08-31
精巧的flow 不得不说，flow模型是一个在设计上非常精巧的模型。总的来看，flow就是想办法得到一个encoder将输入 𝑥 编码为隐变量 𝑧，并且使得 𝑧 服从标准正态分布。得益于flow模型的精巧设计，这个encoder是可逆的，从而我们可以立马从encoder写出相应的decoder（生成器）出来，因此，只要encoder训练完成，我们就能同时得到decoder，完成生成模型的构建。 为了完成这个构思，不仅仅要使得模型可逆，还要使得对应的雅可比行列式容易计算，为此，NICE提出了加性耦合层，通过多个加性耦合层的堆叠，使得模型既具有强大的拟合能力，又具有单位雅可比行列式。就这样，一种不同于VAE和GAN的生成模型——flow模型就这样出来了，它通过巧妙的构造，让我们能直接去拟合概率分...
#Generating Model #flow
READ

Stable Diffusion 3

Generative Model
2025-08-30
🔖 https://stability.ai/news/stablediffusion3researchpaper 概述 SD3 模型与训练策略改进细节 SD3除了将去噪网络从 UNet 改成 DiT 外，SD3 还在模型结构与训练策略上做了很多小改进： 改变训练时噪声采样方法 将一维位置编码改成二维位置编码 提升 VAE 隐空间通道数 对注意力 QK 做归一化以确保高分辨率下训练稳定 本文会简单介绍这些改进。 论文阅读 核心贡献 介绍 Stable Diffusion 3 (SD3) 的文章标题为 Scaling Rectified Flow Transformers for HighResolution Image Synthesis。与其说它是一篇技术报告，更不如说它是一篇论文，因为它...
#Generating Model #diffusion #flow
READ

Structured Generation

Large Model
2025-08-21
引言 Structured Generation with LLM，是指让LLM按照预先定义的schema，输出符合schema的结构化结果。 常见的应用场景有： 1. 数据处理。主要功能为a b，即从源文本中抽取/生成符合schema的结果，例如给定新闻，进行分类、抽取关键词、生成总结等； 1. Agent。主要功能是Tool Calling，即根据用户query，选择适当的tool和入参。 将 LLM 限制为始终生成符合特定模式的、有效的 JSON 或 YAML，是许多应用的关键功能。 Kor Kor，一个基于prompt的技术方案；Kor比较适合数据处理场景，且原理简单、易于理解，适合作为入门, 并且Kor适用于那些不支持function calling的比较旧的模型。 使用Kor进行...
#Large Model #LLM
READ

Bagel

Large Model
2025-07-17
简介 🔖 https://bagelai.org/ BAGEL 模型原生支持统一的多模态理解和生成，是一个 decoderonly 的模型，BAGEL 在包含文本、图像、视频和网络数据的大量多模态数据上进行了预训练，包括数万亿 tokens。尽管有一些研究尝试扩展其统一模型，但它们主要仍然依赖于标准图像生成和理解任务中的图像文本配对数据进行训练。 然而，最近的研究发现，学术模型与 GPT4o 和 Gemini 2.0 等专有系统在统一多模态理解和生成方面存在显著差距，而这些专有系统的底层技术并未公开。作者认为，弥合这一差距的关键在于使用精心构建的多模态交错数据进行规模化训练。这种多模态交错数据整合了文本、图像、视频和网络来源。通过使用这种多样化的多模态交错数据进行扩展时，模型展现出复杂的、新...
#VLM #Large Model #Generating Model
READ

VLM模型概述

Large Model
2025-06-17
MiniGemini InternVL MiniCPMV2_6 Pretraining Stage1. We randomly initialize the compression layer and train this module in stage1, keeping other parameters frozen. The visual encoder’s resolution is set to 224×224, which is the same as the visual encoder’s pretraining setting. To warm up the compression layer, we randomly select 200M data from the I...
#VLM
READ

MiMo-VL

Large Model
2025-06-17
概述 小米团队近日发布了MIMOVL7BSFT和MIMOVL7BRL，这是两个强大的视觉语言模型，MIMOVL7BRL在40个评估任务中的35个上优于QWEN2.5VL7B，对于GUI Grounding任务，它在OSWorldG上设置了一个新标准，甚至超过了UITARS等专业模型。模型通过四个阶段的预训练（2.4T Token）与Mixed Onpolicy 强化（MORL）整合了多样化的奖励信号。 在文章中，作者提到了两个重要的发现： 1. 从PreTraing 训练阶段中加入高质量且覆盖广的推理数据对于强化模型性能至关重要。 1. Mixed Onpolicy 强化学习进一步增强了模型的性能，同时实现了稳定的同时改进仍然在性能方面具有挑战性。 PreTraining 模型结构 整个模型...
#VLM #Large Model
READ
1 2 3 4 5 6 ... 24