1. 综述

1. 表征。如何挖掘模态间的互补性或独立性以表征多模态数据。
• Joint结构注重捕捉多模态的互补性，融合多个输入模态 获得多模态表征 ，进而使用 完成某种预测任务。网络优化目标是某种预测任务的性能。
• Coordinated结构并不寻求融合而是建模多种模态数据间的相关性，它将多个(通常是两个)模态映射到协作空间，表示为： ，其中～表示一种协作关系。网络的优化目标是这种协作关系(通常是相似性，即最小化cosine距离等度量)。
相较于多模态，基于单模态的表征学习已被广泛且深入地研究。在Transformer出现之前，不同模态所适用的最佳表征学习模型不同，例如，CNN广泛适用CV领域，LSTM占领NLP领域。较多的多模态工作仍旧局限在使用N个异质网络单独提取N个模态的特征，之后采用Joint或Coordinated结构进行训练。不过这种思路在很快改变，随着越来越多工作证实Transformer在CV和NLP以及Speech领域都可以获得极佳的性能，仅使用Transformer统一多个模态、甚至多个跨模态任务成为可能。基于Transformer的多模态预训练模型在2019年后喷涌而出，如LXMERT, Oscar, UNITER属于Joint（单塔）结构，CLIP, BriVL 属于Coordinated（双塔）结构。

2. 翻译。学习一个模态到其他模态的映射。例如：image captioning。

3. 对齐。将多模态数据的子元素进行对齐。例如phrase grounding任务：将一幅图中的多个物体与一段话中的短语(或单词)进行对齐。在学习表征或翻译时也可能隐式地学习对齐。
跨模态对齐目的是挖掘多模态数据的子元素之间的关联性，例如visual grounding任务。对齐广泛应用于多模态任务中，具体的应用方式包括显式对齐和隐式对齐。
• 显示对齐。如果一个模型的优化目标是最大化多模态数据的子元素的对齐程度，则称为显示对齐。包括无监督和有监督方法。无监督对齐：给定两个模态的数据作为输入，希望模型实现子元素的对齐，但是训练数据没有“对齐结果”的标注，模型需要同时学习相似度度量和对齐方式。而有监督方法存在标注，可训练模型学习相似度度量。Visual grounding便是有监督对齐的任务，而weakly-supervised visual grounding是无监督对齐的任务。
• 隐式对齐。如果模型的最终优化目标不是对齐任务，对齐过程仅仅是某个中间(或隐式)步骤，则称为隐式对齐。早期基于概率图模型(如HMM)的方法被应用于文本翻译和音素识别中，通过对齐源语言和目的语言的单词或声音信号与音素。但是他们都需要手动构建模态间的映射。最受欢迎的方式是基于注意力机制的对齐，我们对两种模态的子元素间求取注意力权重矩阵，可视为隐式地衡量跨模态子元素间的关联程度。在图像描述，这种注意力被用来判断生成某个单词时需要关注图像中的哪些区域。在视觉问答中，注意力权重被用来定位问题所指的图像区域。很多基于深度学习的跨模态任务都可以找到跨模态注意力的影子。
对齐可以作为一个单独的任务，也可以作为其他任务的隐式特征增强手段。多模态对齐可挖掘子元素间的细粒度交互，同时有可解释性，被广泛应用。但多模态对齐面临如下挑战：仅有少量数据集包含显式的对齐标注；跨模态度量难以设计；可能存在多种对齐，也可能存在某些元素无法在其他模态中找到。

4. 融合。融合两个模态的数据，用来进行某种预测。例如：Visual Question Answering需融合图像和问题来预测答案；Audio-visual speech recognition需融合声音和视频信息用以识别说话内容。
若测试场景下的输入数据包含多个模态，那么必须面对多模态特征融合。多模态融合是多模态机器学习最原始的议题之一。
模型无关的融合策略：
前融合：指在模型的浅层(或输入层)将多个模态的特征拼接起来。后融合：独立训练多个模型，在预测层(最后一层)进行融合。混合融合：同时结合前融合和后融合，以及在模型中间层进行特征交互。
基于模型的融合策略：
多核学习(Multiple Kernel Learning)是SVM的扩展。SVM通过核函数将输入特征映射到高维空间，使线性不可分问题在高维空间可分。在处理多个输入时，多核处理多个模态特征，使得每个模态都找到其最佳核函数；基于概率图模型利用隐马尔可夫模型或贝叶斯网络建模数据的联合概率分布(生成式)或条件概率(判别式)。基于神经网络的融合。使用LSTM、卷积层、注意力层、门机制、双线性融合等设计序列数据或图像数据的复杂交互。
讨论：多模态融合是依赖于任务和数据的，现有工作中常常是多种融合手段的堆积，并未真正统一的理论支撑。对于这种由任务/数据所导致的融合策略的选择问题，十分适合用Neural Architecture Search高效且自动地搜索。当然，多模态融合仍存在的挑战：不同模态的序列信息可能没有对齐；信号间的关联可能只是补充(仅提高鲁棒性而无法增大信息量)而不是互补；不同数据可能存在不同程度的噪声。

5. 共同学习(co-learning)。模态间的知识迁移。使用辅助模态训练的网络可以帮助该模态的学习，尤其是该模态数据量较小的情况下。

2. 多模态经典方法

CLIP: 连接文本和图像的桥梁

论文名称：Learning Transferable Visual Models From Natural Language Supervision (ICML 2021)

• 搜索了 50w 个 queries（query 列表主要来自英文版维基百科中至少出现 100 次的所有单词，并做了些其他补充）

• 为了保证每个 query 的数据相对平衡，每个 query 保留最多 2w 个（image, text）

ViLT：一种极简多模态学习框架 Baseline

论文名称：ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision (ICML 2021)

ALBEF：先对齐后融合

论文名称：Align before Fuse: Vision and Language Representation Learning with Momentum Distillation (NeurIPS 2021)

• ALBEF 解决了多模态领域中图像和文本对齐、交互的问题。在 ALBEF 之前，多模态方法通常使用 transformer 的多模态编码器来同时编码视觉和文本特征，由于目标检测器是提前训练好的，因此视觉和文本特征并不是对齐的。图像和文本特征可能距离很远，这使得多模态编码器难以学习到它们之间的交互。为了解决这个问题，ALBEF 通过一个对比损失（也就是 CLIP 中的 ITC 损失）在进行多模态交互之前对齐图像和文本数据。

• 网上爬取的大量图文对通常噪声很大（图文不匹配）。ALBEF 采用动量蒸馏（momentum distillation）的自训练方法来从网络图文对数据中学习，以缓解原始数据中的噪声问题。从理论上讲，ALBEF 通过互信息最大化的角度解释了不同的多模态任务，说明不同任务实际上为图文对提供了不同的视角，类似于数据增强，使得训练得到的多模态模型能够理解不同模态下的语义，具备语义保持的能力。

• 下面红色框其实就类似于 CLIP，双塔各自编码图像和文本，然后取 CLS 进行对比学习；

• 上面蓝色框就是为了加强不同模态交互用的编码器（前面提到过 CLIP 内积的方式太简单了，这里就是加强多模态融合以适配更难的任务);

• 视觉编码器就是 ViT，初始化权重也是来自它;

• 图像编码器 12 层，文本编码器 6 层，多模态编码器 6 层；其实右侧是将一个 12 层的文本编码器拆成了两部分，这是因为一些研究工作发现在多模态中需要更强的图像编码器，进行这样的拆分一定程度上保证了强图像 encoder 和弱文本 encoder，且保证了模型参数不过多的情况下融合图像和文本的信息。

• ITC loss，这个跟 CLIP 是一样的

• ITM loss，在 ITM 任务中，模型需要判断一对图像和文本是否匹配。为了实现这一目标，论文使用多模态编码器输出的 [CLS] token 的嵌入作为图像 - 文本对的联合表示，并通过一个全连接层和 softmax 函数来预测一个二分类的概率。由于判断 batch 内的负样本过于简单，文章提出通过 ITC loss 计算得到的各样本间的余弦相似度，取除正样本外相似度最高的作 "hard negatives"。

• MLM loss，mask 掉一些文本，然后将 mask 过后的文本和图片一起通过 ALBEF 模型，预测 mask 掉的文本。因此，ALBEF 的每一轮迭代需要经过两次前向传播的过程。多模态学习的方法通常训练时长较长，就是因为需要进行多次前向传播，计算不同的损失。

• 使用基础模型的参数的指数移动平均版本作为动量模型

• 使用动量模型生成的伪标签（是个分布）进行训练

• 主模型的预测既要跟 one-hot 标签尽可能接近之外，也要跟 pseudo-targets 尽可能接近（KL 散度）

VLMO: 混合多模态专家的视觉语言预训练

论文名称：VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts (NeurIPS 2022)

• 当我们要做对比学习任务 (ITC) 的时候，如下图1右上所示，VLMo 和 CLIP 很像，可以让视觉专家 V-FFN 输入视觉信息，让文本专家 L-FFN 输入文本信息，把得到的输出做对比学习即可。

• 当我们要做图文匹配任务 (ITM，二分类) 的时候，如下图1右中所示，可以在前几个 Block 让视觉专家 V-FFN 输入视觉信息，让文本专家 L-FFN 输入文本信息，在后几个 Block 把信息给视觉文本专家，然后做二分类即可。

• 当我们要做完形填空任务 (MLM，预测任务) 的时候，如下图1右下所示，可以在前几个 Block 让视觉专家 V-FFN 输入视觉信息，让文本专家 L-FFN 输入文本信息，在后几个 Block 把信息给视觉文本专家，然后做预测即可。

• 对比学习任务 (Image-Text Contrast, ITC)

• 图文匹配任务 (Image-Text Matching, ITM，二分类)

• 完形填空任务 (Masked Language Modeling, MLM，预测任务)

1. 第1步 (视觉预训练)：在纯图像数据集上面预训练视觉专家模型，方案就是 Masked Image Modeling 的做法。文本专家模型和视觉文本专家模型的 FFN 权重冻结，共享的 Self-Attention 参数更新。

2. 第2步 (文本预训练)：在纯文本数据集上面预训练文本专家模型，方案就是 Masked Language Modeling 的做法。视觉专家模型和视觉文本专家模型的 FFN 权重冻结，共享的 Self-Attention 参数也冻结，注意这里的 Self-Attention 的参数还是视觉数据集上面训练出来的了。

3. 第3步 (多模态预训练)：在多模态数据集上面预训练文本专家模型，方案就是上面的3个目标函数，所有参数都开放更新。

BLIP：理解、生成都要

论文名称：BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation (ICML 2022)

• 现有的预训练模型通常在理解型任务或生成型任务中表现出色，但很少有模型能够同时在这两种任务上达到优秀的性能。

• 现有的性能改进主要是通过扩大数据集规模并使用从网络收集的带有噪声的图像 - 文本对进行训练实现的。然而，网络数据集中的噪声会对模型的性能产生负面影响。

• 统一了图像 - 语言的理解与生成任务

• Bootstrap 的方式清洗网络噪声数据

• 左一为 Image Encoder（图像编码器）：该组件使用 Vision Transformer（ViT）对图像进行编码，将全局图像特征表示为一个额外的 [CLS] 标记。

• 左二为 Text Encoder，采用了 BERT 的结构，提取文本特征用于与视觉特征计算 ITC loss。Text Encoder 不与视觉特征计算交叉注意力。

• 左三为 Image-grounded Text Encoder（基于图像的文本编码器），该组件通过在每个 Transformer 块的自注意力（Self-Attention）层和前馈神经网络（Feed Forward Network）之间插入一个交叉注意力（Cross-Attention）层，将视觉信息注入到文本编码中，提取文本特征用于计算 ITM 损失。

• 左四为 Imagegrounded Text Decoder（基于图像的文本解码器），用于进行 LM 语言建模训练（这里不再是用 MLM 了），生成与图像相关的文本描述。

• 三个文本编解码器分别为在文本前添加 [CLS]、[Encode]、[Decode] token

• 与 ALBEF 一样，同样采用动量模型为 ITC 生成伪标签；使用 ITC 为 ITM 进行难负例挖掘。

• 使用含噪声的数据训练一个 MED（Multimodal Mixture of Encoder-Decoder）模型；

• 将该模型的 Image-grounded Text Encoder 和 Image-grounded Text Decoder 在人工标注的 COCO 数据集上进行微调，分别作为 Filter 和 Captioner；

• Captioner 根据图像数据生成对应的文本描述；

• Filter 对噪声较大的网络数据和生成数据进行过滤清洗，得到较为可靠的训练数据；

• 再根据这些可靠的训练数据，训练更好的 MED 模型，从而实现 bootstraping 训练。

CoCa: 让模型训练得更快一点

论文名称：CoCa: Contrastive Captioners are Image-Text Foundation Models

BEITv3：图片也是一种语言

论文名称：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks (CVPR 2023)

• 文本数据使用 SentencePiece tokenizer 进行 tokenize

• 图像数据使用 BEIT v2 的 tokenizer 进行 tokenize，以获得离散的视觉 token 作为重构的目标

• 当输入数据是纯文本时，掩码的比例是 10%

• 当输入数据是纯图像时，使用 block-wise 掩码策略，掩码的比例是 40%

• 当输入数据是图文对时，会对文本的 50% 进行掩码

BLIP2：将图像特征对齐到预训练语言模型

论文名称：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

• 与冻结的图像编码器交互的图像 transformer，用于视觉特征提取

• 文本 transformer，用作文本编码器和解码器

• ITC loss

• ITM loss

• Image-grounded Text Generation (ITG) loss：用于训练 Q-Former 模型在给定输入图像条件下生成文本。在注意力机制上，queries 之间互相可见但是不能看到文本 token，而文本 token 可以看到所有的 queries 以及它之前的文本 token。此外将 CLS token 替换为 DEC token 以便提示模型进行解码任务。

• Decoder 类型的 LLM（如 OPT）：以 Query 做输入，文本做目标；

• Encoder-Decoder 类型的 LLM（如 FlanT5）：以 Query 和一句话的前半段做输入，以后半段做目标；因为不同模型的 embedding 维度不同，所以这里还加上了一个全连接层。

InstructBLIP：指令微调训练通用视觉语言模型

论文名称：InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

• 作者们收集了 26 数据集并转化指令微调的格式

• 并改进 BLIP2 中的 Query Transformer 为 指令感知的 Query Transformer，能够抽取和给定指令相关的信息

MiniGPT-4：LLM 助力多模态

Visual Instruction Tuning：继续将指令微调发扬光大

1. 视觉编码器：LLaVA 中使用的视觉编码器基于 CLIP（ViT-L/14 变体）。在 LLaVA 中，视觉编码器接收输入图像X_v。使用 ViT-L/14 模型生成视觉特征Z_v。然后，使用可训练的投影矩阵W，将这些视觉特征转换为语言嵌入标记H_v。这个投影矩阵使得图像特征能够与语言模型的词嵌入空间对齐。

1. 语言模型：LLaVA 中使用的语言模型为 LLaMA。语言模型接收由视觉编码器生成的语言嵌入标记以及文本信息作为输入，并根据这些输入生成文本输出。

• 阶段 1：视觉编码器和 LLM 权重被冻结，可训练的参数是投影矩阵（W）

• 阶段 2：端到端微调

• 使用单一的响应格式提示语，明确指示输出格式。例如，“Answer the question using a single word or phrase.” 这样的提示语可以促使 LLM 根据用户的指示正确调整输出格式。

• vision-language 的 connector 使用一个两层的 MLP

• 额外使用一些学术任务导向的数据集

• 扩大 LLM 的参数规模、图像的分辨率等

VisualGLM

CogVLM：视觉优先再现江湖

• 图 a 可以看到跟之前的方法类似，图像经过图像编码器后经过一个浅层的 MLP 来向文本对齐

• 图 b 可以看到在语言模型中新增了视觉专家模块（图像的 QKV 矩阵和 FFN 层），以实现深度视觉 - 语言特征对齐

• 这设计有一点前面 VLMO 的味道，但本质又不一样

MiniGPT-5：多模态生成是未来

• 为了 LLM 的词表添加了用来表示图像的 token，称为 generative vokens

• 为了将 MiniGPT-4 的输出 embedding 输入到 Unet，用一个 MLP+Transformer 进行了映射（上图中间红色框部分）

• 第一阶段除了考虑文本生成的 loss、图像生成的 latent diffusion model loss，还要 SD 的文本编码器的输出对 generative vokens 进行了引导

• 第二阶段使用更复杂的数据和任务来进行微调，只考虑了文本生成的 loss 和图像生成的 loss

• 因为训练涉及到图像生成，所以也用了 Classifier-free Guidance 来提升条件扩散模型的性能

GPT-4V：远远领先！

ImageBind：更多模态一起对齐

论文名称：IMAGEBIND: One Embedding Space To Bind Them All (CVPR 2023)

Meta-Transformer：用一个 Transformer 模型去编码12类模态

论文名称：Meta-Transformer: A Unified Framework for Multimodal Learning

• 统一的 Tokenization：通过设计特定的 Tokenization 策略，例如将图像分割成小块或将文本分割成词或子词，然后为每个块或词生成一个 token。这些 token 然后被映射到一个连续的向量空间，形成 token embedding；

• 模态共享的编码器： 使用一个预训练的 Transformer 编码器，它的参数是冻结的。这个编码器可以处理来自不同模态的 token embedding（因为它们都在同一个共享的流形空间内）；

• 任务特定的头部：这些头部通常由多层感知机 (MLP) 组成，并根据不同的模态和任务进行调整。

3. 多模态个人总结

• 不同模态进行对齐

• 不同模态进行融合

• 指令微调促进人机交互，数据的质量可能比数量更重要

• 模型设计既要保证检索任务下的高效推理，又要能够进行多模态深度融合

• 进入大语言模型时代前，用更大的图像编码器一般是更有效的

• 进入大语言模型时代后，图文理解能力的强大可能来自于大语言模型的能力

• 进入大语言模型时代后，视觉优先仍然是值得探索的方向，但是训练大视觉模型向来是比较困难的

• 想要在多模态理解的基础上扩充多模态生成能力需要设计不同模态对应的解码器

• 理想的框架：多模态对齐 + 统一的编码器 + 统一的解码器，一统多模态理解和生成

4. 下游任务

（视频理解）Video-LLaMa:利用多模态增强对视频内容理解

论文名称：Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding（EMNLP 2023）

• 引入了一个两层视频Q-Former和一个帧嵌入层(应用于每帧的嵌入)来计算视频表示。

• 在Webvid-2M视频标题数据集上训练VL分支，并完成视频到文本的生成任务。还将图像-文本对(来自LLaVA的约595K图像标题)添加到预训练数据集中，以增强对静态视觉概念的理解。

• AL分支(音频编码器:ImageBind-Huge)

• 引入两层音频Q-Former和音频段嵌入层(应用于每个音频段的嵌入)来计算音频表示。

• 由于使用的音频编码器(即ImageBind)已经跨多个模态对齐，所以只在视频/图像指令数据上训练AL分支，只是为了将ImageBind的输出连接到语言解码器。

（分类）Text as Images：文本替代图像

• 这里的h和H是<EOS> token经过映射得到，代表一种平均的表达。

• 同样是为了让下游任务的表征空间接近CLIP的原始共空间

(分类) CDUL：多标签分类

论文名称：CDUL: CLIP-Driven Unsupervised Learning for Multi-Label Image Classification (CVPR2023)

• CLIP往往适合单标签分类，而不适合多标签分类

• 多标签的注释获取往往是带有噪声的

• 伪标签初始化。将图片分割成很多小的snippet，并编码，就可以看到图片中角落里的信息，实现多标签。聚合全局和局部信息，令CLIP关注多类对象。

• 梯度对齐训练。loss函数：KL散度。递归地更新网络参数和伪标签（潜在参数）。

（音视频异常检测）AVAD：视听同步

论文名称：Self-Supervised Video Forensics by Audio-Visual Anomaly Detection （CVPR2023）

• 提出一种通过异常检测识别被篡改视频的方法，训练自回归生成模型来标记概率很低的视频。

• 仅使用真实的未标记数据训练模型，以了解音视频是如何共现的，测试时，模型标记的低概率视频即为假视频。

• 视听同步模型两阶段：第一阶段负样本来自不同视频；第二阶段负样本在相同视频中随机采样。

• 测试时的测试集可以为不同的说话人。（以前的方法的测试集都是在训练集基础上做一些数据增强得到）

（分类）DAC：域对齐

论文名称：Domain Aligned CLIP for Few-shot Classification （WACV 2024）

（分类）Rumor-Short-Video：多模态对比学习

论文名称：Multimodal Short Video Rumor Detection System Based on Contrastive Learning

• C3D：C3D模型是一种使用3D卷积网络学习时空特征的模型，它可以对视频序列进行特征提取和分类。C3D模型的主要思想是将3D卷积和3D池化应用于视频帧，从而同时捕获空间和时间维度的信息。C3D模型的结构类似于VGG网络，但是将所有的2D卷积和2D池化替换为3D卷积和3D池化。C3D模型具有高效、简单、紧凑的特点，可以在多个视频理解任务上取得较好的效果。

• TSN：TSN模型是一种用于视频分类的网络模型，它基于2D-CNN，通过稀疏采样视频帧的方式来提取视频的全局信息和局部信息。TSN模型包含两个分支：空间分支和时间分支，空间分支用于提取每帧图像的静态特征，时间分支用于提取相邻帧之间的动态特征。两个分支的特征通过后期融合的方式来进行分类或检测。TSN模型是一种简单而有效的视频理解方法，可以适应不同长度和复杂度的视频。TSN模型是一种利用稀疏采样和双分支结构的视频CNN模型，可以同时学习空间和时间特征。

• Slowfast：Slowfast模型是一种用于视频理解的双模CNN模型，它由两个分支组成：Slow分支和Fast分支。Slow分支使用较少的帧数和较大的通道数来学习空间语义信息，Fast分支使用较多的帧数和较少的通道数来学习运动信息。两个分支通过侧向连接来融合特征，最后进行分类或检测。Slowfast模型受到了灵长类动物视网膜神经细胞种类的启发，可以有效地利用不同速度的视频信息，提高了视频识别的性能。Slowfast模型是一种利用双速率分治策略的视频CNN模型，可以同时学习空间和运动特征。

• VideoSwin：VideoSwin模型是一种基于Swin Transformer的视频分类模型，它利用了Swin Transformer的多尺度建模和高效局部注意力特性，可以在视频Transformer中引入局部性的归纳偏置，提高了速度-准确度的权衡。VideoSwin模型在动作识别和时序建模等视频理解任务上取得了最先进的性能，超过了其他的Transformer模型，例如ViViT和TimeSformer等。VideoSwin模型是一种利用局部注意力机制的视频Transformer模型，可以有效地处理视频序列数据

5. CLIP的微调

MBT：加入跨模态融合模块

论文名称：Attention Bottlenecks for Multimodal Fusion（ NeurIPS 2021）

MaPLe：多模态提示学习

论文名称：MaPLe: Multi-modal Prompt Learning（CVPR2023）

• 研究发现Clip的问题：在单个分支（语言或视觉）中使用prompt来调整表示是次优的，它不能在下游任务上灵活地动态调整两个表示空间。

• 作者提出了针对视觉和语言分支的多模态提示学习(MaPLe)，以改善视觉和语言表征之间的一致性。

• 多模态提示是在视觉和语言分支的多个转换块中学习的，以逐步学习两种模态的协同行为。

• 提出了耦合函数，将文本和图像编码器中的提示学习联系起来，作为两种模式之间的桥梁，允许梯度的相互传播，以促进协同作用。

• 通过在不同的transformer阶段将视觉提示明确地限制在文本提示上，来确保视觉语言模式之间的协同作用。

Self-regulation Prompts：引入正则化

论文名称：Self-regulating Prompts: Foundational Model Adaptation without Forgetting（ICCV2023）

• 通过三种正则化去解决了过拟合的一个问题，是目前CLIP微调的SOTA方法。

• 最后一个Epoch累积了前面19个Epoch去加权，用EMA的形式采用高斯加权融合。

TCL：考虑模态内对比

论文名称：Vision-Language Pre-Training with Triple Contrastive Learning （CVPR2022）