上海智能实验室推图文多模态大模型InternLM-XComposer2（浦语·灵笔2）

1月31日 消息:InternLM-XComposer2是一款先进的视觉-语言模型，在自由组合文本和图像以及理解这两者之间的内容方面表现卓越。这款模型不仅超越了传统的视觉-语言理解，而且能够巧妙地将多样化的输入，如概要、详尽的文本描述和参考图片，融合成包含文本和图像的复合内容，实现高度定制化的创作。项目地址：https://top.aibase.com/tool/internlm-xcomposer2InternLM-XComposer2引入了一种新的方法，被称为“部分LoRA（PLoRA）”。这一方法只对图像Token应用额外的LoRA参数，以此保持预先训练的语言知识的完整性。这样一来，模型能够精确地理解视觉信息，同时保持文本内容的文学魅力，实现了两者之间的完美平衡。通过多项实验验证，基于InternLM2-7B的InternLM-XComposer2在生成高品质的长文本多模态内容方面表现出色。该模型的视觉-语言理解能力在多个基准测试中都取得了优异的成绩。这使得InternLM-XComposer2成为当前领先的视觉-语言模型之一，为多领域的创作和理解任务提供了卓越的性能。