字节跳动开源基于SD1.5的 MagicAnimate 一张照片秒变真人舞蹈视频

12月5日 消息:从今天起，在社交平台上看到的小姐姐舞蹈短视频很可能就是AI生成的。字节跳动新开源基于SD1.5的MagicAnimate，它只需要一张照片和一组动作，就能生成近似真人的舞蹈视频。

项目地址：https://github.com/magic-research/magic-animate

MagicAnimate是一项利用先进的扩散模型实现人体图像动画的创新性项目。其核心优势在于确保生成内容的时间一致性，通过提供预训练的稳定扩散V1.5和MSE微调的VAE基础模型，使用户能够轻松入门。

使用MagicAnimate只需要一张照片和一组动作。用户可以选择一张喜欢的小姐姐的照片，然后通过输入一组动作，让AI根据这些信息生成一个舞蹈视频。这个舞蹈视频看起来非常逼真，几乎可以让人误以为是真实人物在跳舞。

为使用MagicAnimate，用户需下载稳定扩散V1.5和MSE微调的VAE预训练基模型，并按照提供的结构组织检查点。安装简便，仅需Python（3.8以上版本）、CUDA(11.3以上版本)和FFmpeg。可通过conda或pip安装依赖项。

推理过程:

MagicAnimate提供了用户友好的推理过程。用户可通过提供的bash脚本在单个GPU上运行推理，或使用另一个脚本在多个GPU上运行，以优化性能。这种简便的推理方式确保了从初学者到经验丰富的研究人员的广泛可访问性。