谷歌发布图像局部重绘项目ObjectDrop 插入物体和环境完美融合_google影像图

3月29日 消息:谷歌今天发布了一个名为ObjectDrop的图像局部重绘项目，其效果令人印象深刻。这个项目成功模拟了物体对场景的影响，包括遮挡、反射和阴影，实现了逼真的物体移除和插入。

论文地址:https://arxiv.org/pdf/2403.18818.pdf

在该项目的论文中，他们介绍了一种方法，该方法包括在移除场景中的某个物体之前和之后拍摄场景，同时尽可能减少其他因素的变化。通过在这个特别的数据集上微调扩散模型，他们不仅能够消除图像中的物体，还能去除它们对周围环境的影响。

然而，他们发现，要把这个方法用于创造逼真的物体插入，需要一个非常大的数据集，这在实际应用中是不现实的。为了解决这个问题，他们引入了一种新的方法，称为引导监督（bootstrap supervision）。

这种方法通过利用他们在一个小反事实数据集上训练的物体移除模型，能够在合成层面大量扩展这个数据集。这意味着，他们可以在不需要大量实际数据的情况下，创造出逼真的物体插入效果。

在创造逼真的物体移除和插入方面，他们的方法明显优于之前的技术，尤其是在模拟物体对其环境的影响这一点上做得非常出色。这一成果对于图像处理和计算机视觉领域来说，是一个重要的突破。