INCOMING TRANSMISSION

如果把 近几年对比学习在视觉领域有代表性的工作做一下总结，那么对比学习的发展历程大概可以分为四个阶段： 百花齐放 这个阶段代表性工作有InstDisc（instance discrimination，）、CPC、CMC等。在这个阶段中，方法、模型、目标函数、代理任务都还没有统一，所以说是一个百花齐放的时代 CV双雄 代表作有MoCo v1、SimCLR v1、MoCo v2、SimCLR v2；CPC、CMC的延伸工作、SwAV等。这个阶段发展非常迅速，有的工作间隔甚至不到一个月，ImageNet上的成绩基本上每个月都在被刷新。 不用负样本 BYOL及其改进工作、SimSiam（CNN在对比学习中的总结性工作） transformer MoCo v3、DINO。这个阶段，无论是对比学习还是最...

SelfSupervised Learning，又称为自监督学习，我们知道一般机器学习分为有监督学习，无监督学习和强化学习。 而 SelfSupervised Learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream Tasks)。 其主要的方式就是通过自己监督自己。作为代表作的 kaiming 的 MoCo 引发一波热议， Yann Lecun也在 AAAI 上讲 SelfSupervised Learning 是未来的大势所趋。所以在这个系列中，我会系统地解读 SelfSupervised Learning 的经典工作。 总结下 SelfSupervised Learning 的方法，用 4 个英文单词概括一下就是： Unsup...

相关内容 自监督学习（Selfsupervised）：属于无监督学习，其核心是自动为数据打标签（伪标签或其他角度的可信标签，包括图像的旋转、分块等等），通过让网络按照既定的规则，对数据打出正确的标签来更好地进行特征表示，从而应用于各种下游任务。 互信息（Mutual Information）：表示两个变量 X 和 Y 之间的关系，定义为： 噪声对抗估计（Noise Contrastive Estimation, NCE）：在NLP任务中一种降低计算复杂度的方法，将语言模型估计问题简化为一个二分类问题。 Introduction 无监督学习一个重要的问题就是学习有用的 representation，本文的目的就是训练一个 representation learning 函数（即编码器encod...

补充知识 表示学习（Representation Learning）：学习数据的表征，以便在构建分类器或其他预测器时更容易提取有用的信息，无监督学习也属于表示学习。 互信息（Mutual Information）：表示两个变量 X 和 Y 之间的关系，定义为： 对比损失(contrastive loss)：计算成对样本的匹配程度，主要用于降维中。计算公式为： 噪声对抗估计（Noise Contrastive Estimation, NCE）：在NLP任务中一种降低计算复杂度的方法，将语言模型估计问题简化为一个二分类问题。 负采样（Negative Sampling, NEG）：表示负采样，是NCE的一个简化版本，目的是提高训练速度，改善所得词向量的质量。采用了相对简单的随机负采样，本文中选择...

从 NLP 入手 背景 NCE，也就是 Noise Contrastive Noise（噪声对比估计）， 在 “Noisecontrastive estimation: A new estimation principle for unnormalized statistical models“ 这篇论文中被提出，但是这篇论文的阐述的不太便于理解，并且论文中估计的是概率密度函数（pdf, probability density function）。而 NLP 中的 word 或 vision 中的 pixel 都是离散的，且我们感兴趣的是的概率质量函数（pmf, probability mass function），这篇 “A fast and simple algorithm for tr...