核心技术详解：CLIP、ViT与架构演进)
前言DeepSeek V3/R1实现了大语言模型LLM的普惠多模态大模型VLM–Vision Language Model也就自然变成了下一个关注的热点。我一直有一个好奇的问题大语言模型的自回归生成autoregression的基础是文本有一个token级别的词汇表大约只有32k160k左右。图片image是由像素pixel构成其词汇表是什么呢带着这个问题我看了几篇典型的VLM文章。我发现VLM并没有图片的词汇表。实际上现在大部分的VLM并没有生成图片的能力只能生成文本也就是说只有“看图说话”的能力。图片或者视频只是作用在输入端经过一个vision encoder变成一个vector插入到文本序列作为一个LLM的输入。这个encoder通常需要用“iamge to text”这样的平行语料进行训练。“看图说话”的反函数是“文生图”也是一项成熟的技术。看似将二者结合就可以得到一个真正的多模态大模型。但这并不容易因为文生图的基础是扩散diffusion模型其架构与自回归生成autoregression截然不同。这篇文章介绍多模态大模型的三个技术VLM的架构常用的vision encoder模型Clip以及基于Transformer的image encoder架构ViT。一 VLM的架构LLaVA【1】是比较早的开源VLM模型发表在计算机视觉顶会CVPR2024作者是University of Wisconsin–Madison和美国的微软研究院。下图是其架构。LLaVA的视觉编码器vision encoder采用了CLIP视觉编码器ViT-L/14。视觉编码器的输出图像表征再经过一个简单的线性投影层W转变为文本token的嵌入空间作为一个vector加入到文本序列作为基础大语言模型的输入。如上图所示最后的输出是语言文本。阿里巴巴的通义模型有个VLM的版本Qwen2.5 - VL【2】大约是2025年2月发布的。其架构如下图所示。总体上与LLaVA类似只是在视觉编码器vision encoder和视觉-语言合并器LLaVA中的线性投影层W的具体实现上有一些创新。与LLaVA直接使用clip作为vision encoder不同Qwen2.5 - VL用了大量的“图片-文本”进行训练并且对ViT的结构也做了一些重新设计。****下面的表格清晰地列出了通义VLM的3个部件和各自的规模OpenAI的VLM模型GPT-4v【3】发布得比LLaVA更早在2023年3月就开始应用。他们还做了一个项目定位于盲人用户为智能手机拍摄的照片提供描述。但我没有找到他们的实现架构只是在Qwen2.5 - VL有如下描述“GPT - 4V 打破了传统的 “视觉编码器 语言解码器” 拼接模式将视觉和语言信息在同一 Transformer 架构中统一处理支持任意分辨率和宽高比图像输入通过自适应视觉 Token 机制动态生成合适数量视觉 token 文本 token 和视觉 token 在同一注意力矩阵交互实现深度跨模态理解。”二 常用的vision encoder模型ClipClip模型源自OpenAI发布于2021年。训练时使用了从互联网上收集的4亿图像文本对数据。其架构如下CLIP联合训练一个图像编码器和一个文本编码器分别将图片和对应的文本转化为一个vector然后图片vector和正确对应的文本vector较高的互信息mutual information来调整权重从而学习到一批图像文本训练示例的正确配对。我之前对于Clip的使用有一个疑问在Clip训练的时候会同时训练一个text encoder和vision encoder二者是匹配的。而应用Clip的时候通常只用后者。比如在VLM中vision encoder之后的LLM模型有可能会使用不同tokenization、得到与Clip不同的token词汇表。相当于text encoder已经被替换了Clip的对齐还有效吗后来请教一位做VLM的老师他回答说在应用Clip的时候还需要用图像文本对数据训练使得vision encoder与后续的LLM进行再次对齐。三 基于Transformer的image encoder架构ViTClip的vision encoder有多种实现方式其中一种使用了基于Transformer的ViT架构该架构源自2020年Google的一篇文章如下图所示ViT的输入是图片的一小块。他们将图像分割成固定大小的图块对每个图块进行线性嵌入添加位置嵌入然后将得到的向量序列输入到标准的Transformer编码器中。Encoder的输出类似于以前BERT的class头ViT在输出层的最前面增加了一个MLP的头其输出为一个vector即为该图片的编码encoding。ViT的研究发现当训练数据比较小的时候ViT的性能要逊色于传统的卷积神经网络CNN。但当数据集达到千万、上亿的时候ViT的性能就接近或者超越了最先进的水平。所以这又是一个大力出奇迹的例子。四 总结VLM的技术发展历程2020年Google的ViT、2021年的Clip、2023年的GPT-4v、2024年的LLaVA、2025年的通义Qwen2.5 - VL。现在主流的VLM模型还没有解决“图像生成”与“文本生成”的融合架构仍有待创新。最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 【收藏学习】多模态大模型(VLM)核心技术详解：CLIP、ViT与架构演进
前言DeepSeek V3/R1实现了大语言模型LLM的普惠多模态大模型VLM–Vision Language Model也就自然变成了下一个关注的热点。我一直有一个好奇的问题大语言模型的自回归生成autoregression的基础是文本有一个token级别的词汇表大约只有32k160k左右。图片image是由像素pixel构成其词汇表是什么呢带着这个问题我看了几篇典型的VLM文章。我发现VLM并没有图片的词汇表。实际上现在大部分的VLM并没有生成图片的能力只能生成文本也就是说只有“看图说话”的能力。图片或者视频只是作用在输入端经过一个vision encoder变成一个vector插入到文本序列作为一个LLM的输入。这个encoder通常需要用“iamge to text”这样的平行语料进行训练。“看图说话”的反函数是“文生图”也是一项成熟的技术。看似将二者结合就可以得到一个真正的多模态大模型。但这并不容易因为文生图的基础是扩散diffusion模型其架构与自回归生成autoregression截然不同。这篇文章介绍多模态大模型的三个技术VLM的架构常用的vision encoder模型Clip以及基于Transformer的image encoder架构ViT。一 VLM的架构LLaVA【1】是比较早的开源VLM模型发表在计算机视觉顶会CVPR2024作者是University of Wisconsin–Madison和美国的微软研究院。下图是其架构。LLaVA的视觉编码器vision encoder采用了CLIP视觉编码器ViT-L/14。视觉编码器的输出图像表征再经过一个简单的线性投影层W转变为文本token的嵌入空间作为一个vector加入到文本序列作为基础大语言模型的输入。如上图所示最后的输出是语言文本。阿里巴巴的通义模型有个VLM的版本Qwen2.5 - VL【2】大约是2025年2月发布的。其架构如下图所示。总体上与LLaVA类似只是在视觉编码器vision encoder和视觉-语言合并器LLaVA中的线性投影层W的具体实现上有一些创新。与LLaVA直接使用clip作为vision encoder不同Qwen2.5 - VL用了大量的“图片-文本”进行训练并且对ViT的结构也做了一些重新设计。****下面的表格清晰地列出了通义VLM的3个部件和各自的规模OpenAI的VLM模型GPT-4v【3】发布得比LLaVA更早在2023年3月就开始应用。他们还做了一个项目定位于盲人用户为智能手机拍摄的照片提供描述。但我没有找到他们的实现架构只是在Qwen2.5 - VL有如下描述“GPT - 4V 打破了传统的 “视觉编码器 语言解码器” 拼接模式将视觉和语言信息在同一 Transformer 架构中统一处理支持任意分辨率和宽高比图像输入通过自适应视觉 Token 机制动态生成合适数量视觉 token 文本 token 和视觉 token 在同一注意力矩阵交互实现深度跨模态理解。”二 常用的vision encoder模型ClipClip模型源自OpenAI发布于2021年。训练时使用了从互联网上收集的4亿图像文本对数据。其架构如下CLIP联合训练一个图像编码器和一个文本编码器分别将图片和对应的文本转化为一个vector然后图片vector和正确对应的文本vector较高的互信息mutual information来调整权重从而学习到一批图像文本训练示例的正确配对。我之前对于Clip的使用有一个疑问在Clip训练的时候会同时训练一个text encoder和vision encoder二者是匹配的。而应用Clip的时候通常只用后者。比如在VLM中vision encoder之后的LLM模型有可能会使用不同tokenization、得到与Clip不同的token词汇表。相当于text encoder已经被替换了Clip的对齐还有效吗后来请教一位做VLM的老师他回答说在应用Clip的时候还需要用图像文本对数据训练使得vision encoder与后续的LLM进行再次对齐。三 基于Transformer的image encoder架构ViTClip的vision encoder有多种实现方式其中一种使用了基于Transformer的ViT架构该架构源自2020年Google的一篇文章如下图所示ViT的输入是图片的一小块。他们将图像分割成固定大小的图块对每个图块进行线性嵌入添加位置嵌入然后将得到的向量序列输入到标准的Transformer编码器中。Encoder的输出类似于以前BERT的class头ViT在输出层的最前面增加了一个MLP的头其输出为一个vector即为该图片的编码encoding。ViT的研究发现当训练数据比较小的时候ViT的性能要逊色于传统的卷积神经网络CNN。但当数据集达到千万、上亿的时候ViT的性能就接近或者超越了最先进的水平。所以这又是一个大力出奇迹的例子。四 总结VLM的技术发展历程2020年Google的ViT、2021年的Clip、2023年的GPT-4v、2024年的LLaVA、2025年的通义Qwen2.5 - VL。现在主流的VLM模型还没有解决“图像生成”与“文本生成”的融合架构仍有待创新。最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】