【论文笔记】VCoder: Versatile Vision Encoders for Multimodal Large Language Models

🍎个人主页：小嗷犬的个人主页
🍊个人网站：小嗷犬的技术小站
🥭个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。

---

基本信息

标题: VCoder: Versatile Vision Encoders for Multimodal Large Language Models
作者: Jitesh Jain, Jianwei Yang, Humphrey Shi
发表: CVPR 2024
arXiv: https://arxiv.org/abs/2312.14233
GitHub: https://github.com/SHI-Labs/VCoder

摘要

人类拥有非凡的视觉感知能力，即看到并理解所见，这帮助他们理解视觉世界并推理。

多模态大型语言模型（MLLM）最近在视觉-语言任务上取得了令人印象深刻的成果，这些任务包括视觉问答、图像标题生成、视觉推理和图像生成。

然而，当被要求识别或计数（感知）给定图像中的实体时，现有的MLLM系统却失败了。

为了开发一个准确的多模态MLLM感知和推理系统，我们提出使用Versatile enCoder（VCoder）作为多模态MLLM的感知之眼。

1. 我们将分割或深度图等感知模态输入到VCoder中，从而提高MLLM的感知能力。
2. 我们利用COCO图像和现成视觉感知模型的输出，创建我们的COCO分割文本（COST）数据集，用于训练和评估MLLM在物体感知任务上的表现。
3. 我们引入了评估MLLM在COST数据集上物体感知能力的指标。
4. 我们提供了广泛的实验证据，证明了VCoder在物体级感知技能上优于现有的多模态MLLM，包括GPT-4V。

我们将数据集、代码和模型开源，以促进研究。

主要贡献

• 我们提出使用额外的（感知）控制输入，并将其提供给通用编码器（VCoder），以提升物体感知性能。
• 我们引入了COCO分割文本（COST）数据集，用于训练和评估多模态LLM系统在物体识别、计数和顺序预测等基本物体级感知任务上的表现。
• 此外，为了量化MLLMs的物体感知能力，我们提出了计算计数得分（CS）、幻觉得分（HS）和深度得分（DS）。我们的实验表明，在COST数据集上进行验证时，VCoder适配的LLaVA1.5在所有指标上均优于基线MLLMs。

工作

COST 数据集

我们将COCO中的图像、GPT-4中的问题和OneFormer的分割输出整合到问答格式中，用于训练和评估MLLLMs在物体识别任务上的表现。

我们还通过整合DINOv2 DPT的深度图输出，将COST扩展到物体顺序感知任务。

通过类似地整合其他模态（例如，关键点图），COST可以扩展到更多物体级任务。

VCoder

• <seg>: OneFormer 的分割图通过一个SegCoder（CLIP-ViT-L-336px）和一个两层MLP。
• <depth>: DINOv2 DPT 深度图通过一个DepthCoder（CLIP-ViT-L-336px）和一个两层MLP。
• <image>: 原图通过一个DepthCoder（CLIP-ViT-L-336px）和一个两层MLP。
• <query>: 文本分词后嵌入。
• LLM: Vicuna-1.5

Evaluation Metrics for Object Identification

尽管存在各种指标来衡量视觉-语言模型中的物体幻觉，但现有的指标在计算幻觉得分时都没有考虑明确的物体数量。

我们认为，MLLM返回的物体数量是评估物体识别性能时不应忽视的关键组成部分。

因此，我们提出使用两个指标来评估MLLM中的物体识别性能：计数得分（$\mathbf{CS}$）和幻觉得分（$\mathbf{HS}$）。

给定一个真实句子（$G$）和一个MLLM预测的响应（$P$），我们首先从两个文本样本中提取对象词（名词）及其对应的计数，并以字典形式表示，其中键为对象名词，值为对应对象的计数：

G dict = { O B J 1 G : C N T 1 G ; ⋯   ; O B J N G : C N T N G } P dict = { O B J 1 P : C N T 1 P ; ⋯   ; O B J M P : C N T M P } \begin{align*} G_{\text{dict}} &= \{\mathbf{OBJ}^G_1 : \mathbf{CNT}^G_1; \cdots; \mathbf{OBJ}^G_N : \mathbf{CNT}^G_N\} \\ P_{\text{dict}} &= \{\mathbf{OBJ}^P_1 : \mathbf{CNT}^P_1; \cdots; \mathbf{OBJ}^P_M : \mathbf{CNT}^P_M\} \end{align*} Gdict​Pdict​​={OBJ1G​:CNT1G​;⋯;OBJNG​:CNTNG​}={OBJ1P​:CNT1P​;⋯;OBJMP​:CNTMP​}​

其中 $N$ 和 $M$ 分别代表 $G$ 和 $P$ 中不同对象名词的数量。接下来，我们以 $G_{\text{dict}}$ 和 $P_{\text{dict}}$ 作为参考，对键的计数进行一对一匹配，以计算计数得分（$\mathbf{CS}$）和幻觉得分（$\mathbf{HS}$）：

$$\begin{array}{l}\mathbf{CS}=\frac{100}{N}{\sum }_{i=1}^N\{\begin{array}{ll}\frac{\min ({\mathbf{CNT}}_i^G,{\mathbf{CNT}}_i^P)}{\max ({\mathbf{CNT}}_i^G,{\mathbf{CNT}}_i^P)}& \text{if }I({\mathbf{OBJ}}_i^G,P_{\text{dict}})\\ 0& \text{otherwise}\end{array}\\ \mathbf{CS}=\frac{100}{M}{\sum }_{j=1}^M\{\begin{array}{ll}1-\frac{\min ({\mathbf{CNT}}_j^P,{\mathbf{CNT}}_j^G)}{\max ({\mathbf{CNT}}_j^P,{\mathbf{CNT}}_j^G)}& \text{if }I({\mathbf{OBJ}}_j^P,G_{\text{dict}})\\ 1& \text{otherwise}\end{array}\\ I(\mathbf{OBJ},D)=\{\begin{array}{ll}\text{True}& \text{if }\mathbf{OBJ}\text{ is in keys}(D)\\ \text{False}& \text{otherwise}\end{array}\end{array}$$

计数得分（$\mathbf{CS}$）：表示MLLM相对于真实句子预测的正确物体计数百分比，越高越好。

幻觉得分（$\mathbf{HS}$）：表示MLLM预测的额外物体计数百分比，这些计数在真实句子中不存在，越低越好。

实验

• COST IT LLaVA-1.5-7b: 使用COST训练数据与LLaVA-1.5中使用的指令微调数据混合而成的数据从头训练LLaVA-1.5。
• Soft-Prompted LLaVA-1.5: 在LLM输入前添加576个可学习标记（⟨prompt⟩），并在COST训练数据集上仅微调⟨prompt⟩参数。
• ImCoder LLaVA-1.5: 使用原图作为控制输入，在COST训练数据上进行训练。

Input Tokens: <depth> + <seg> + <img> + <query>

使用真实值和预测中物体位置的绝对差值计算深度得分（$\mathbf{DS}$）。

总结

这项工作分析了多模态大型语言模型（VLMMs）在物体级感知技能方面的表现。

尽管MLLMs在视觉推理方面表现良好，但它们需要在简单而基本的物体感知任务上提高。

为了提高MLLMs的物体感知能力，我们提出了COST数据集，用于训练和评估MLLMs在物体感知任务上的表现。

我们在COST数据集上对不同的现成MLLMs和GPT-4V进行了基准测试，并观察到它们的性能不佳。

因此，我们提出使用感知模态作为控制输入，以及一个通用的视觉编码器（VCoder）作为适配器，将控制输入投影到LLM嵌入空间。

我们的VCoder可以轻松扩展，根据任务利用各种模态作为控制输入。

为了量化MLLMs在物体级的感知能力，我们引入了计数得分（$\mathbf{CS}$）、幻觉得分（$\mathbf{HS}$）和深度得分（$\mathbf{DS}$）。

我们适配了带有VCoder的LLaVA-1.5，仅在COST数据集上训练了VCoder，并在物体感知任务上展示了其改进的性能，同时保持了推理性能。

我们希望我们的工作能够激发研究界关注为MLLMs开发物体感知数据集，并在未来开发在感知和推理方面同样出色的视觉系统。

原文地址：https://blog.csdn.net/qq_63585949/article/details/143628497

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！