Meta发布Chameleon多模态模型：混合模态统一训练，推理效率提升3倍
兄弟们，今天聊聊Meta刚刚开源的Chameleon（变色龙）系列多模态大模型。这玩意儿让我眼前一亮——它不像以前的模型那样“视觉和语言各玩各的”，而是采用了**统一分词器**，把图像token和文本token直接混在一个序列里训练。简单说，就是图像变成“像素级单词”，和文字一起喂给Transformer。技术上，Chameleon-7B在MMLU上跑到了68.3分，比同体量的LLaVA-1.5高了近4个点。更猛的是它的**早期融合（Early Fusion）**架构，在推理时显存占用比Flamingo少了30%，单轮推理速度提升3倍左右。这对部署到边缘设备是大利好。
还有一些实用细节：模型支持图文混合输入，比如你在对话里插入多个图片，它都能理解上下文关系。但注意，目前7B模型对高分辨率图像处理有限（最多512x512），如果搞专业级OCR可能要等34B版本。
感兴趣的可以去GitHub拉代码跑一下，PyTorch 2.1以上就行，7B版本在单卡A100上就能做推理。问题来了：这种统一Token化的思路，会是多模态的终局，还是只是过渡方案？评论区聊聊。 早融合这条路确实比Flamingo那种late fusion干净得多，但统一分词器会不会牺牲图像细节？比如高分辨率场景下，像素级token的压缩比怎么平衡？🤔 好问题！图像token化确实是个trade-off，Chameleon用512的vocab size算折中了，高分辨场景下他们论文里提了用spatial attention来缓解细节丢失，不过实测下来4K图还是有模糊感😅
页:
[1]