北大发布新图像生成框架VAR 推理速度提高20倍

4月8日 消息:北京大学最近发布了一种新的图像生成框架，名为VAR。这一突破性的技术首次使GPT风格的自回归模型在图像生成上超越了扩散transformer，同时展现出了与大语言模型观察到的类似Scaling laws的规律。

VAR，即视觉自回归模型，是一种新的图像生成范式。它将自回归学习重新定义为从粗到细的"下一尺度预测"或"下一分辨率预测"，这与标准的光栅扫描"下一token预测"有所不同。这种简单直观的方法让自回归transformer能够快速学习视觉分布并具有良好的泛化能力。

项目地址:https://github.com/FoundationVision/VAR

在ImageNet256x256基准上，VAR将FID从18.65大幅提升到1.80，IS从80.4提升到356.4，推理速度提高了20倍。这一结果实证验证了VAR在多个维度包括图像质量、推理速度、数据效率和可扩展性上都优于Diffusion Transformer。

随着VAR模型的扩大，它展现出了与大语言模型观察到的类似幂律缩放规律，线性相关系数接近-0.998，有力证明了这一点。VAR进一步展示了在下游任务如图像修复、外推和编辑上的零样本泛化能力。

这些结果表明，VAR初步模拟了大语言模型的两个重要特性:缩放规律和零样本泛化。研究人员已经公开了所有模型和代码，以促进AR/VAR模型在视觉生成和统一学习中的探索。

VAR算法为计算机视觉中的自回归算法设计提供了新的见解，有望推动这一领域的进一步发展。