文章目录
- VLM架构概述
- 核心组件
- 训练方法
- 典型应用
- 代表模型
- VLM开发成本与实时性问题
VL-JEPA: Joint Embedding Predictive Architecture for Vision-language
https://arxiv.org/abs/2512.10942
开始之前先介绍一下VLM
VLM架构概述
VLM（Vision-Language Model）是一种结合视觉（图像/视频）与语言（文本）的多模态模型，旨在实现跨模态理解与生成任务。其核心是通过对齐视觉与语言特征，完成如图文检索、视觉问答、图像描述生成等应用。
核心组件
视觉编码器
通常基于CNN（如ResNet）或Transformer（如ViT），将图像/视频编码为特征向量。例如，CLIP使用ViT提取图像特征。
文本编码器
采用预训练语言模型（如BERT、GPT），将文本转换为语义向量。文本与视觉特征需共享嵌入空间以实现对齐。
跨模态融合模块
通过注意力机制（如交叉注意力）或联合训练，实现视觉与语言特征的交互。例如，Flamingo模型通过门控交叉注意力融合多模态信息。
训练方法
对比学习
如CLIP通过对比损失函数，拉近匹配图文对的嵌入距离，推开不匹配对。损失函数示例：
L = − log exp ( sim ( v i , t i ) / τ ) ∑ j = 1 N exp ( sim ( v i , t j ) / τ ) \mathcal{L} = -\log \frac{\exp(\text{sim}(v_i, t_i)/\tau)}{\sum_{j=1}^N \exp(\text{sim}(v_i, t_j)/\tau)}L=−log∑j=1Nexp(sim(vi,tj)/τ)exp(sim(vi,ti)/τ)
其中v i v_ivi、t i t_iti为匹配的图像-文本对，τ \tauτ为温度参数。
生成式训练
如BLIP-2通过生成损失（如交叉熵）训练模型输出文本描述。部分模型结合检索与生成任务提升鲁棒性。
典型应用
- 图文检索：输入文本查询匹配图像，或反之。
- 视觉问答：根据图像回答自然语言问题（如OK-VQA）。
- 图像描述生成：为图像生成连贯的文本描述（如COCO数据集任务）。
代表模型
- CLIP：基于对比学习的图文预训练模型。
- BLIP/BLIP-2：融合检索与生成的端到端框架。
- Flamingo：专为少样本学习设计的跨模态模型。
VLM架构通过多模态联合表征，推动AI在复杂场景下的理解与推理能力，持续扩展至视频、3D视觉等领域。
VLM开发成本与实时性问题
降低开发成本的策略
采用任务导向的预训练方法，将语义建模与表层语言特征解耦。通过多阶段训练流程，先专注于任务相关语义的捕捉，再引入语言生成模块。这种方法能减少计算资源的浪费，避免对无关特征的过度建模。
优化实时任务延迟的方法
开发事件触发的解码机制，取代传统的自回归解码。当检测到视频中的新事件时，系统才启动部分解码过程。这种选择性解码能显著减少不必要的计算开销。
参考： https://github.com/facebookresearch/jepa