ZeST：可将一图像的材质迁移到另一图像上

4月17日 消息:在计算机视觉和图形学领域，材质迁移技术一直是研究的热点之一。最近，牛津大学、Stability AI 和 MIT CSAIL 的研究团队共同开发了一种名为ZeST的创新方法，它能够在无需任何先前训练的情况下，实现从一张图像到另一张图像中对象的材质迁移。

ZeST技术的亮点在于其支持单一材质的迁移，并且能够处理单一图像中的多重材质编辑。这意味着用户可以轻松地将一种材质应用到图像中的多个对象上，而不需要为每个对象单独进行材质迁移。此外，ZeST还支持在设备上快速处理图像，摆脱了对云计算或服务器端处理的依赖，大大提高了效率。

ZeST的工作原理是通过扩散适配器提取示例图像中的隐式材质表示，然后将这些材质应用到输入图像的对象上。这一过程结合了几何和光照指导信息，以确保在材质转移的同时，保留图像中的其他属性，从而产生逼真的视觉效果。ZeST不仅适用于虚拟场景和合成图像，也能够应用于真实世界的图像，为材质编辑和渲染提供了更加灵活和高效的解决方案。

在ZeST的方法概述中，研究团队介绍了该技术的三个主要分支。首先，图像编码器用于对材质示例进行编码;其次，输入图像被转换为深度图和前景灰度图像，以提供必要的几何和潜在光照指导;最后，通过结合这些信息和材质编码的潜在特征，ZeST能够将材质属性准确地转移到输入图像中的对象上。

研究团队通过展示16个不同材质的转移示例，证明了ZeST的有效性。这些示例涵盖了从PBR材质到真实世界物体的广泛范围，并展示了ZeST在单个图像中进行多个材质编辑的能力。这些成果不仅展示了ZeST的强大功能，也为图像编辑和渲染领域提供了新的工具和可能性。

总结来说，ZeST的推出为材质迁移技术带来了新的突破。其零-shot特性和对真实世界图像的适用性，使得ZeST在计算机视觉和图形学领域具有重要的研究价值和应用前景。未来，研究团队将继续探索如何将ZeST扩展到更广泛的应用领域，并进一步提升其性能和效果。

项目地址:https://ttchengab.github.io/zest/