视频版ControlNet开源 CoDeF靠提示词就能精准切换画风

8月20日 消息:最新视频处理算法 CoDeF 发布不久就引起网友热议，它能将原视频改变画风但保持其他细节不变。该算法由全华人团队开发，已在 GitHub 上开源。

CoDeF 能根据提示词精准控制视频元素改变，比如将风景纪录片秒变为国风水墨大作。它还能跟踪水流动向和穗子摆动频率，细节处理使效果更逼真。此外，CoDeF 也可以让电影角色一键变老，将皱纹添加到脸上而其他细节不受影响。

CoDeF 是一种创新的视频处理方法，通过规范内容场和时间变形场的优化，实现视频重构和各种图像算法在视频上的应用扩展，该算法能够实现更加真实时、强细节、高保真的视频重建。与现有的视频处理方法相比，CoDeF 具有更好的跨帧一致性，并能够处理非刚性物体。

论文地址:

https://arxiv.org/abs/2308.07926

项目地址:

https://qiuyu96.github.io/CoDeF/

该方法通过粒度逐步细化的训练过程，平衡了规范图像的自然性和重建的还原性。实验结果表明，该方法的重建质量显著提高，PSNR 增加了约4.4，规范图像的自然性也有明显改善。

此外，该方法还可以应用于视频超分辨率、视频对象分割、视频关键点跟踪等图像算法的任务，并保持卓越的时间一致性。总的来说，该视频重建算法具有较强的性能，展示了其在视频处理领域的潜力。

特点:

1. CoDeF 是一种全新的视频表示方法，由一个规范内容场和一个时间变形场组成。

2. 规范内容场聚合整个视频中的静态内容，时间变形场记录了从规范图像到每个单独帧的变形过程。

3. 可以通过优化这两个场来重构目标视频，通过精心设计的渲染流程实现。

4. 引入了一些正则化方法，使规范内容场从视频中继承语义信息（例如物体形状）。

5. CoDeF 支持将图像算法应用于视频处理，只需将算法应用于规范图像，再借助时间变形场将结果传播到整个视频中。

6. CoDeF 能够将图像到图像的转换扩展到视频到视频的转换，以及将关键点检测扩展到关键点跟踪，无需任何训练。

7. 通过在只有一张图像上应用算法的扩展策略，CoDeF 在处理的视频中实现了更好的跨帧一致性，甚至可以跟踪非刚性物体如水和烟雾。