Vid2Densepose + MagicAnimate – 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?

当前位置:首页>全部工具>AI视频>动画生成>Vid2Densepose + MagicAnimate – 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?

Vid2DensePose 将你的视频转换为 Densepose 序列,并在 MagicAnimate 上使用它,MagicAnimate目前依赖DensePose作为约束,如果想尝试转换自己的视频,需要先生成DensePose序列。我们将Vid2Densepose + MagicAnimate 制作成一键启动包,点击即可使用,

一、Vid2Densepose

1、Vid2Densepose是什么?

Vid2DensePose 是一款功能强大的工具,旨在将DensePose模型应用于视频,为每个帧生成详细的“部分索引”可视化。该工具对于增强动画特别有用,特别是与 MagicAnimate 结合使用以实现时间一致的人体图像动画。简单来说就是为配合MagicAnimate而量身打造的项目,简直太贴心了有木有!

Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?

2、Vid2Densepose的开源地址:

https://github.com/Flode-Labs/vid2densepose

3、Vid2Densepose的在线体验地址:

https://replicate.com/lucataco/vid2densepose

Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?

4、Vid2Densepose的主要特征:

  • 增强输出:生成以生动的颜色编码格式展示 DensePosedata 的视频文件。
  • MagicAnimate 集成:与 MagicAnimate 无缝兼容,以促进先进的人类动画项目。

二、MagicAnimate

1、MagicAnimate是什么?

MagicAnimate 是由新加坡国立大学 Show 实验室和字节跳动联合联合打造,它们提出了一个基于扩散的 AI 动画生成框架,旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。它能够将指定的人物图片与动作相结合,生成视频。MagicAnimate 是基于 StableDiffusion V1.5 基本模型,用户只需输入照片和动作,AI 便会生成相应的视频,从目前生成的效果来说还比较粗糙,但随着技术发展,之后取代抖音小姐姐也并非空想。关于 MagicAnimate 具体技术细节可进入项目主页。

Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?
Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?

仅仅需要一张图片加上动作轨迹,就可以生成非常自然且丝滑的视频,无论是钢铁侠跳舞还是奥特曼跑步都可以轻轻松松的制作出来,并且没有闪烁衣服上面的褶皱,周围物体上的光线反应,可以说是做的非常完美。

Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?

2、MagicAnimate的技术原理:

给定参考图像和目标 DensePose 运动序列,MagicAnimate 采用视频扩散模型和外观编码器分别进行时间建模和身份保留(左图)。为了支持长视频动画,我们设计了一种简单的视频融合策略,可以在推理过程中产生平滑的视频过渡(右图)。

Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?

3、MagicAnimate的视频案例:

MagicAnimate 旨在对遵循运动序列的参考图像进行动画处理,并具有时间一致性。

5、MagicAnimate的网站地址:

论文地址:https://arxiv.org/pdf/2311.16498.pdf

项目地址:https://showlab.github.io/magicanimate/

GitHub 地址:https://github.com/magic-research/magic-animate

在线体验地址:https://huggingface.co/spaces/zcxu-eric/magicanimate

Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?

三、如何使用Vid2Densepose + MagicAnimate?

为了让更多用户能够轻松体验这一技术,我们将Vid2Densepose + MagicAnimate打包成了一键启动包。现在,您无需繁琐地配置Python环境,只需简单点击即可启动程序,从而避免了潜在的环境配置问题。

  1. 下载压缩包,解压到电脑D盘,最好不要有中文路径;
  2. 解压后点击启动.bat文件即可运行(文件可能会被误杀,请添加为信任);
  3. 浏览器访问:http://127.0.0.1:7860/,即可正常使用。
Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?
Vid2Densepose + MagicAnimate - 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?
下载权限
查看
  • 免费下载
    评论并刷新后下载
    登录后下载
  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余
1、山鲸AI所有文章,如无特殊说明或标注,均为本站作者原创发布。
2、任何个人或组织,在未征得作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。
3、如若此作者内容侵犯了原著者的合法权益,可联系客服提交工单进行处理。
4、山鲸AI内用户所发表的所有内容及言论仅代表其本人,并不反映任何山鲸AI之意见及观点。
动画生成

EMO - 震撼!阿里巴巴人物肖像图片转动态视频AI工具(即将开源)

2024-2-29 1:59:03

动画生成视频生成

DomoAI - 一键照片和视频转换风格,支持文生图,图生图,可以对科目三的小姐姐们下手了~

2024-3-13 18:17:17

!
你也想出现在这里? 立即联系
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
error: 您点击的内容受到保护~