CameraCtrl：让文本生成视频实现镜头控制 支持AnimateDiff控制镜头

划重点:

⭐镜头控制在视频生成中起着至关重要的作用，CameraCtrl 可以实现准确的镜头姿势控制。

⭐ 通过在已有的文本到视频模型上训练镜头编码器，CameraCtrl 实现了插拔式的镜头模块，提高了视频生成的控制精度。

⭐ 研究发现，采用不同数据集的视频可以增强镜头控制的可控性和泛化性。

4月7日 消息:近年来，随着人工智能技术的发展，视频生成领域取得了长足的进步。然而，在现有的文本到视频生成模型中，对镜头姿势的精确控制往往被忽视，而镜头姿势在视频生成中扮演着表达更深层叙事细微差别的影视语言角色。

为了解决这一问题，研究人员提出了 CameraCtrl，实现了对文本到视频模型的镜头姿势进行精确控制。使用AnimateDiff生成视频时，结合CameraCtrl可以控制镜头的运动轨迹。

在 CameraCtrl 的框架中，他们首先通过准确参数化镜头轨迹，然后在文本到视频模型上训练镜头编码器，实现了插拔式的镜头模块。这个模块能够将镜头表示集成到 U-Net 的时间注意力层中，从而控制视频生成的过程。实验结果表明，CameraCtrl 在实现精确的镜头控制和领域自适应方面取得了显著的效果。

研究人员还进行了对各种数据集的影响的综合研究，结果表明，具有不同镜头分布和类似外观的视频确实增强了镜头控制的可控性和泛化性。通过将不同领域视频进行镜头控制的实验，进一步证明了 CameraCtrl 的有效性。

CameraCtrl 为实现从文本和镜头姿势输入生成动态、定制化视频叙事迈出了重要一步。这一技术的应用前景广阔，有望在视频生成领域发挥重要作用。

产品入口：https://hehao13.github.io/projects-CameraCtrl/