大家好，我是DASOU；
回到2018年BERT刚刚横空出世，如果想快速搞一篇BERT的多模态预训练论文，应该从哪些方面去考虑呢？
本文讲两个问题，把多模态BERT知识点串起来【绝对原创，至少我还没看到这么讲过的博文】：
- 如何将MLM和多模态数据融合
- 如何将NSP任务和多模态数据融合
BERT中的大部分模块都是已经有的，它最大的作用就是证明了可以通过文本重建的方式从大量的无监督语料中获取到知识；
那么我们现在思考的问题就是如何从多模态数据中，使用BERT的架构，学习到有用的知识；
BERT有两个任务，一个是MLM。一个是NSP；
MLM是做文本重建，NSP是做句间关系；
1. 如何将MLM和多模态数据融合
MLM我们需要从三个方面去考虑：
- MLM输入形式是什么？
- mask的时候需要注意什么？
- 输出形式是什么，损失函数是什么？
在多模态场景下，对MLM任务，需要分为两个方向，一个是对文本的重建，称之为Masked Language Modeling (MLM)，一个是对图像的重建，称之为Masked Region Modeling（MRM）；
文本这边的MLM很简单，和BERT原始本身没区别，就不赘述了；
有意思的是图像重建：MRM；
首先拿到一张图片，要想把这个图片送入到TRM中去，需要的是多个图片tokens；
有几种方式可以做到这一点，首先第一个就是将图片分为一个个的patch，这个老生常谈了，TRM在CV中的应用大部分都是这种方式；
还有一种就是使用Faster-RCNN对图片做目标检测，获取到一个个的含有物体的regions，那么这个regions就是可以认为是一个个的tokens；
这个时候会出现一个问题，我们思考BERT中的文本tokens的输入，不仅仅是embeddings，而且还有position embeddings；
这是因为TRM中tokens之间是无序的，需要使用position embeddings来标明顺序；
那么回到图像这里，用什么来标明顺序呢？一般来说使用的是Faster-RCNN中输出的regions的locations信息【5维或者是7维度】；
仿照文本，我们需要把图片regions的表征和地理位置的表征加起来，由于维度不一致，所以加起来之前需要各自过一个全链接层；
那么【mask】怎么去操作呢，在操作的时候需要注意什么呢？
文本这边还是直接使用【mask】符号去mask掉子词就可以；
那么在图片这边，直接使用全零向量替代掉mask掉的图片regions就可以了；
这里有一个细节很有意思，在mask的时候我们有两种选择，就是文本和图片是混合mask的或者文本和图片是conditional masking；
文本和图片是混合的，就是说明我们在mask的时候不区分图片或者文本，随机mask；
文本和图片是conditional mask，就是说我在mask文本的时候，保持图片是完整的，在mask图片的时候，保持文本是完整的；
这两方式哪种好呢？
我们这么来想：
假如你的句子中存在【苹果】这个单词，而且图片中有【苹果】这个region，那么在mask的时候，会不会存在在mask掉【苹果】这个词汇的时候，同时mask掉了【苹果】这个区域图像呢？
肯定有概率存在这种情况。
所以conditional mask一般来说会更好一点。
我们在来说MLM的第三个问题，输出形式是什么或者说损失函数是什么？
文本这边就是softmax之后找是哪一个单词，从而进行更新梯度；
图片这边会更复杂一点，一般来说分为三种形式，这主要是对于一个图片我们可以使用三种方式描述它；
首先第一种就是使用Faster-RCNN的ROI pooled feature去描述这个图片区域，那么我们就可以使用mask的图片区域的TRM输出的向量接一个全连接打到相同维度，和ROI pooled feature进行一个L2；
第二个就是，比如说我现在有图片中物体类别有50个类别，那么当前图片区域的输出就可以是一个50个类别软标签（做了softmax的归一化到概率），这样可以和TRM的输出做KL散度；
第三个是承接第二个，我们可以使用概率最大的那个作为当前区域的类别，也就是得到了一个one-hot，也就是要给硬标签，这个直接做交叉熵就可以；
2. 多模态数据如何做NSP任务呢？
其实很简单，NSP任务本质上是做句子间的关系，那么我们只需要类比的做一个图片和文本之间是否匹配的任务就可以了，也就是ITM任务；
ITM本质上是从文本整体和图片整体来做关系，还有的会从字和单个图片区域做关系学习，比如Word-Region Alignment (WRA) ；
多模态这块有点乱，但是大体上就是按照MLM和NSP任务扩展到多模态数据上，这么理解会更容易一些；