ViT Model

卷积神经网络本身具有先验知识：

• Locality：相邻的区域之间的相关性更高
• Translation equation：平移等变性

Transformer的时间复杂度在O(n^2)，n是序列长度，而图片的大小是224 * 224，Flatten之后太大了，有一些之前的文章将Res50中的Res4部分输出的14*14的特征输入Transformer中解决了输入太大的问题，而ViT通过将图片切分成一个一个的Patch输入Transformer。

Transformer目前没有饱和的现象。

VIT - Patch输入

1. 输入图像224 * 224 * 3的大小
2. 根据16 * 16的Patch对图像进行切分，切分为14*14=196的数量
3. 196个Patch，每个Patch中16 * 16 * 3的维度，得到196 * 768的特征维度
4. 特征通过Linear全连接层，得到196 * 768的大小特征
5. Cls特征用于学习分类的损失，特征大小为768大小，与196 * 768大小进行拼接，得到197 * 768大小的特征
6. 然后与位置编码进行相加，位置编码对应的和之前的特征一样的大小，为了减少对模型的改动，我们最后还是使用了1D的位置编码（1D和2D的效果发现很像）

最后得到197*768的大小作为输入。

VIT - Transformer Encoder

• 输入为197 * 768大小
• 通过Layer和Norm得到197 * 768
• 如果使用12个头，得到197*64的QKV
• 通过多头的拼接得到197*768的特征
• 然后通过Layer和Norm得到197 * 768
• 最后通过MLP，中间特征维度一般会增大4倍，得到197*3072维度的特征
• 最后得到的197*768的特征维度

VIT - 分类

• MLP用作分类头
• stay as close as possible:保留了原始的< cls >，用这个输入MLP中进行分类

VIT - Fine Tuning and Higher Resolution

如果改变了图像大小，意味着改变了Patch的数量，也就是原来的位置信息可能就没用了；在这里可以使用插值的思想，临时解决方案，所以可能会掉点。

VIT - 自监督学习

Bert使用的是Mask Language Model.

VIT使用的是Masked Patch Prediction.

原文地址：https://blog.csdn.net/BeTyh/article/details/143483058

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！