Hugging、英特尔发布文生图一致性解决方案——SPRIGHT

4月2日 消息:Hugging 和英特尔发布了提高文生图模型空间一致性的方案，大幅提高了模型对提示词中空间关系的理解能力。

在当前的将文字描述转换为图像的技术（T2I）中，一个关键短板是它们往往无法精准地生成与文字提示中所描述的空间关系相符的图像。为了解决这个问题，Hugging 和英特尔全面调查了这一限制，并开发了一些数据集和方法，以此达到行业领先水平。

项目地址：https://spright-t2i.github.io/

他们发现目前的图文数据集对空间关系的表达不够充分。为了解决这个问题，他们创建了SPRIGHT——第一个专注于空间关系的大规模数据集，方法是重新标注了来自四个广泛使用的图像数据集的600万张图片。经过三重评估和分析，他们发现SPRIGHT在捕捉空间关系方面大幅超越现有数据集。他们仅使用约0.25%的SPRIGHT数据，就在制作空间准确的图像方面取得了22%的提升，并且在FID（图像质量评分）和CMMD(跨模态匹配度评分)上也有所改进。

在包含大量物体的图像上进行训练，可以显著提高图像的空间一致性。特别地，他们在少于500张图片上进行微调后，在T2I综合比赛平台（T2I-CompBench）上达到了0.2133的空间得分，创造了新的最高记录。

通过一系列严格的实验和测试，他们记录了多项发现，这些发现有助于深入理解影响文字描述转换为图像技术在空间一致性方面的各种因素。同时，他们还会开源这个模型和数据集，以便其他研究者和开发者能够利用这些资源来进一步提高文生图模型的性能。