Meta推新框架OPT2I 提高SD图像生成一致性

3月28日 消息:Meta公司最近推出了一款名为OPT2I的新框架，该框架利用大型语言模型（LLM）来提高SD 图像从提示词到图像(T2I)的生成过程中的一致性。

OPT2I是一个优化框架，旨在提升T2I模型中的提示-图像一致性。它的工作流程始于用户输入的提示词，并通过迭代的方式生成修订后的提示词，目标是最大化一致性得分。

论文地址：https://arxiv.org/pdf/2403.17804.pdf

经过在两个数据集MSCOCO和PartiPrompts上的广泛验证，研究显示，OPT2I能够显著提高初始一致性得分，同时保持FID（一种评估生成图像质量的指标）并增加生成数据与真实数据之间的召回率。

OPT2I框架由三个主要部分构成:预训练的T2I模型、LLM以及一个自动提示-图像一致性评分器。该框架通过迭代地利用提示-评分对的历史记录，提出修订后的提示，从而生成更符合用户意图的图像。

此外，作者们还探讨了如何设计元提示（meta-prompt），以及如何通过反馈调整LLM的探索-利用权衡，以进一步提升模型的性能。总的来说，OPT2I框架为提高T2I模型的提示-图像一致性提供了一种新的有效方法。