自监督学习（SSL）Self-Supervised Learning

目录

监督、无监督、自监督学习

自监督学习

核心思想

主要方法

主流分类

generative methods

contrastive methods

---

监督、无监督、自监督学习

有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。

自监督学习最主要的目的就是学习到更丰富的语义表征。

评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。

监督的 Pretrain - Finetune 流程：

1.从大量的有标签数据上进行训练，得到预训练的模型，

2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。

自监督的 Pretrain - Finetune 流程：

1.从大量无标签数据中通过 pretext 训练网络（自动在数据中构造监督信息），得到预训练的模型

2.对于新的下游任务，和监督学习一样，迁移学习到的参数后微调即可。

所以自监督学习的能力主要由下游任务的性能来体现。

supervised learning 的特点：

1. 对于每一张图片，机器预测一个 category 或者是 bounding box
2. 训练数据都是人工标注的
3. 每个样本只能提供非常少的信息(比如 1024 个 categories 只有 10 bits 的信息)

self-supervised learning 的特点：

1. 对于一张图片，机器可以预测任何的部分（自动构建监督信号）
2. 对于视频，可以预测未来的帧
3. 每个样本可以提供很多的信息

自监督学习

核心思想

 Self-Supervised Learning 先把参数从一张白纸训练到初步成型，再从初步成型训练到完全成型。1.训练到初步成型的东西， Visual Representation。

2.再根据下游任务 (Downstream Tasks) 的不同去用带标签的数据集把参数训练到完全成型，

那这时用的数据集量就不用太多了，因为参数经过了第1阶段就已经训练得差不多了。

第一个阶段不涉及任何下游任务，就是拿着一堆无标签的数据去预训练，没有特定的任务，这个话用官方语言表达叫做：in a task-agnostic way。

第二个阶段涉及下游任务，就是拿着一堆带标签的数据去在下游任务上 Fine-tune，这个话用官方语言表达叫做：in a task-specific way。

 涉及领域

Self-Supervised Learning 不仅是在NLP领域，在CV, 语音领域也有很多经典的工作，它可以分成3类：Data Centric, Prediction (也叫 Generative) 和 Contrastive。

主要方法

1. 基于上下文（Context based）

2. 基于时序（Temporal Based）

3. 基于对比（Contrastive Based）

主流分类

generative methods

能重建=>则能提取好的特征表达

eg：MAE、BERT
 

contrastive methods

在特征空间上对不同的输入进行分辨

参考链接：

自监督学习 | (1) Self-supervised Learning入门_CoreJT的博客-CSDN博客_自监督学习

自监督学习 | (2) 一文读懂 Self-Supervised Learning_CoreJT的博客-CSDN博客