MagicTime – 高质量延时视频生成AI工具，本地整合包，一键制作生长动画，北大开源

马斯克克星，又一开源Sora模型火了，已开源！

一、MagicTime 是什么？

由北京大学团队研发的MagicTime是一个创新性的框架，旨在生成具有可变时间特性的延时视频（又称为Metamorphic Videos）。这意味着用户能够仅通过输入文本提示，就能创造出展示物体随时间变化过程的延时摄影视频。比如花朵开放，冰块融化等，能够学习并应用现实世界的物理规律。

这个项目通过分析大量的时间延迟视频来学习和模拟自然界和物理现象的变化，使得生成的视频不仅美观，还科学准确。

让我们通过一个动态例子来进一步理解：如下图所展示，一块冰逐渐融化成水的过程被清晰地捕捉和呈现。你可能会好奇，MagicTime与市面上众多已有的模型有何不同？难道它不是另一个常规的T2V（Text-to-Video）生成工具吗？

二、MagicTime 的网站地址：

1、论文地址：

https://arxiv.org/abs/2404.05014

2、Github开源地址：

https://github.com/PKU-YuanGroup/MagicTime

3、HuggingFace试用地址：

https://huggingface.co/spaces/BestWishYsh/MagicTime

4、Replicate试用地址：

https://replicate.com/camenduru/magictime

5、官方项目地址：

https://pku-yuangroup.github.io/MagicTime/

三、MagicTime 的方法概述：

所提议的 MagicTime 方法的概述。我们首先训练 MagicAdapter-S 来消除水印的影响。接下来，MagicAdapter-T 经过训练，可以在动态帧提取的帮助下生成变形视频。最后，我们训练一个 Magic Text-Encoder 来增强文本理解能力。在推理阶段，所有组件需要同时加载。斜杠填充表示未使用该模块。

集成到基于 DiT 的架构中

该项目的使命是帮助重现 Sora 并提供高质量的视频文本数据和数据注释管道，以支持Open-Sora-Plan或其他基于 DiT 的 T2V 模型。为此，我们采取了第一步，将我们的 MagicTime 方案集成到基于 DiT 的框架中。具体来说，我们的方法支持 Open-Sora-Plan v1.0.0 进行微调。我们首先在同一注释框架中使用额外的变质景观延时视频进行扩展，以获得 ChronoMagic-Landscape 数据集。然后，我们使用 ChronoMagic-Landscape 数据集对 Open-Sora-Plan v1.0.0 进行微调，以获得 MagicTime-DiT 模型。

四、MagicTime 的功能特性：

• 学习物理知识：MagicTime通过从现有的时间延迟视频中学习物理知识，能够实现对新生成视频中变形的真实模拟。这包括理解变形对象背后的自然进程和物理原理，提高了模拟的真实性。
• MagicAdapter方案：这一创新方法旨在解耦空间和时间训练，使模型能够编码更多的物理知识。它允许预训练的T2V模型转变为能够创建更高保真度和现实感的变形视频的生成器。
• 动态帧提取策略：MagicTime采用动态帧提取策略，适应广泛的变形时间延迟视频，这对于捕捉如花开或冰融等对象戏剧性变形至关重要。此功能确保了变形过程的所有关键阶段都被有效表示。
• Magic Text-Encoder：改进的文本编码器帮助系统更好地理解和解释生成变形视频的提示。这一组件确保文本提示中的细微差别和具体指令准确转换为视频中的视觉元素，允许对视频生成过程进行更精确的控制。

这些核心特性使MagicTime成为生成高质量变形时间延迟视频的强大工具。它特别适用于教育目的，其中可视化变形过程可以显著增强学习效果，以及在艺术和科学领域，精确的时间变化视觉表达非常关键。

五、MagicTime的应用场景：

• 教育与科研：在教育领域，MagicTime可以帮助教师和学生更直观地理解和演示自然界中的变化过程，如植物生长、化学反应等。
• 内容创作：对于内容创作者，MagicTime提供了一个强大的工具，能够制作展示事物变化的独特视频，增强叙述的视觉效果，适用于纪录片或艺术项目。
• 媒体与娱乐：在媒体和娱乐行业，制作具有高视觉冲击力的时间延迟视频，为观众提供新奇的视觉体验，可用于电影特效或电视广告。

六、MagicTime 的应用案例：

为了更直观地展示MagicTime的独特之处，我们将其生成的视频与其他常规模型产生的视频进行对比。从比较中我们可以清晰地看到，MagicTime生成的视频仿佛被赋予了生命，变得更加“活泼”。这正是北京大学团队的研究成果，因为对于一个模型来说，生成显示时间变化过程的视频是极具挑战性的。模型不仅要根据文本生成准确的图像信息，还需要在视频中展现出这些变化。

七、如何使用MagicTime?

为了让更多用户能够轻松体验这一技术，我们将MagicTime打包成了一键启动包。现在，您无需繁琐地配置Python环境，只需简单点击即可启动程序，从而避免了潜在的环境配置问题。

操作系统：Windows 10/11 64位，显卡：需拥有16GB显存以上的英伟达显卡！！！

1. 下载压缩包，解压到电脑D盘，最好不要有中文路径；
2. 解压后点击启动.bat文件即可运行（文件可能会被误杀，请添加为信任）；
3. 浏览器访问：http://127.0.0.1:7860/，即可正常使用MagicTime。