修复CLIP的盲点：新研究如何解决AI的视觉误解问题

注：¹此处指类似于学术导读的学习指南，原名为“Cliff’s Notes”。CVPR注释：CVPR可能需要解释或注释，因为它可能对中文学术界来说不够熟悉。

睁大眼睛看什么呢？探索多模态LLM的视觉局限

概览

这篇论文《睁大眼睛看？探究多模态大语言模型的视觉短板》（“Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs”）研究了先进的多模态大语言模型（MLLMs）的视觉问答任务（VQA任务）能力，特别关注了GPT-4V的表现。它指出了这些模型在视觉理解上的系统性缺陷，并提出了一套评估其性能的基准测试。

作者介绍了多模态视觉模式（MMVP）基准测试，并提出了一种特征混合（MoF）来改进多模态大型语言模型（MLLM）中的视觉定位。

现有的难题

尽管这些多模态AI模型如GPT-4V虽然拥有令人印象深刻的能力，但他们经常无法正确回答关于图像的基本问题。这种失败主要是由于解释视觉信息的局限性。

当前的方法非常依赖一个叫做CLIP的系统。CLIP将图像与文本描述配对，以共同理解两者。不过，CLIP有一个明显的缺点：它会产生所谓的“CLIP盲对”。

当研究人员发现CLIP盲对时，他们提出了一种新方法，称为特征混合（MoF），以专门解决这一问题。以下是对他们所做工作及其如何帮助的详细说明。

• 定义：CLIP盲配对是指CLIP认为非常相似但实际上差异很大的图像集。
• 示例：想象两张图片，一个是猫，另一个是狗。如果CLIP认为这两张图片相似，仅仅因为它们都是毛茸茸的动物，它可能会认为它们几乎一样，即使猫和狗实际上有很大不同。
• 影响：这种混淆会导致视觉表现不准确。当多模态模型（如CLIP）尝试回答关于这些图片的问题时，它可能会混淆细节，甚至给出错误的答案，因为它并没有真正理解这些视觉差异。

这些问题传播到使用CLIP作为视觉骨干的更高级模型上，因此这些模型存在CLIP盲配对的问题。

• 给出错误答案：它们可能会给出错误的答案，可能会误识别物体或误解物体在图像中的位置。
• 编造解释：它们有时会编造一些解释，这可能会误导大家。

这种方法的目标是通过结合被称为DINOv2的模型提供的更好视觉表示，来提升多模态模型对视觉的理解。

研究人员引入了特征混合（MoF）方法来解决这些视觉上的不足。MoF旨在通过整合更好的视觉表现来提升这些模型的视觉定位能力。

目前用的方法（CLIP）：

• CLIP 通过将图像与文本描述进行比较来理解图像，但在处理 CLIP 视觉盲对时会遇到困难，导致模糊或错误的视觉表示。

MoF改进如下：

• 添加型-MoF (A-MoF)：此方法结合了CLIP与另一个名为DINOv2的系统的特点。通过添加来自DINOv2的特征，模型的整体视觉理解能力增强，更善于捕捉视觉细节。然而，这有时可能会影响模型精确执行文本指令的能力。
• 交错型-MoF (I-MoF)：此方法在空间上混合了CLIP和DINOv2的视觉标记。这种更紧密整合的方法确保模型既能充分利用DINOv2的详细视觉理解，同时保持其遵循文本指令的能力。

财政部的方法有几个优点：

• 改进的视觉理解：通过纳入DINOv2的特征，模型在区分图像细节方面表现更佳，降低了CLIP盲对带来的错误。
• 均衡的能力：交替使用MoF方法确保模型既能理解图像，又能遵循文字指令。
• 系统性错误减少：这种方法直接解决了CLIP盲对造成的视觉混淆，从而得出更准确的答案。

本文的主要贡献有：

1. 详细分析：对当前多模态模型（特别是基于CLIP的模型）中存在的视觉不足进行深入研究。
2. 新测试工具：引入了MMVP基准测试，以更好地评估这些模型对图像的理解能力。
3. 改进方法：开发了MoF（特征混合）方法，通过结合不同类型的视觉理解方法来提升模型性能。

研究人员们测试了他们新研发的方法，发现了一些发现。

• 所有的模型，包括GPT-4V，在处理简单的视觉问题时表现不佳。
• GPT-4V的表现优于随机猜测，但与人类相比仍有很大的提升空间。
• MoF方法显著提高了视觉理解和定位的准确性，减少了由于CLIP盲配对所导致的错误。

更好地通过视觉来理解AI模型在很多领域都非常有用。

• 动画和游戏：可以用来创造更逼真的角色和互动。
• 虚拟和增强现实：可以使得VR/AR环境更加准确和沉浸。
• 零售和在线购物：可以改善产品搜索和推荐。

论文里提到的这些改进很重要，因为它们能让AI更好地理解图像。这对很多应用都很重要。这项研究能让高质量的视觉理解更容易获得且更可靠。

了解更多关于这篇论文的信息，请访问：

• 项目页
• GitHub