-
DiffSynth Studio – 专业视频“三渲二”风格转绘/换衣,递进式AI绘图工具,最佳DomoAI本地平替,国内B站大神开源~
在数字内容创作的领域,扩散模型已经崭露头角,成为图像合成技术中的一股不可忽视的力量。然而,当这些模型被应用到视频合成时,它们往往面临着一系列挑战,比如内容闪烁等问题。针对这一问题,最新研发的 DiffSynth 方法便应运而生,它将图像合成技术巧妙地延伸至视频领域,取得了令人瞩目的成果。 一、DiffSynth Studio是什么? DiffSynth Studio 不仅仅是一个工具,它融合了多项…- 4.9k
-
SadTalker – 图片配合音频秒变声音视频,头部、嘴型超自然,中英双语全能,还会唱歌~
单个肖像图像 🙎♂️ + 音频 🎤 = 头部说话视频🎞 一、SadTalker是什么? SadTalker模型是一个使用图片与音频文件自动合成人物说话动画的开源模型,我们自己给模型一张图片以及一段音频文件,模型会根据音频文件把传递的图片进行人脸的相应动作,比如张嘴,眨眼,移动头部等动作。SadTalker,它从音频中生成 3DMM 的 3D 运动系数(头部姿势、表情),并隐式调制一种新颖的 3D…- 2.2k
-
FRESCO – 一键视频风格转换AI工具,告别复杂工作流,北京大学开源,本地整合包,一键运行~
北京大学近日发布了一项全新的视频风格转换工具——FRESCO。这一工具旨在简化视频转视频的处理流程,使之更加便捷、高效。FRESCO支持将视频转换为多种不同的风格,并且独特之处在于,它可以选择性地转换视频中特定的部分。值得一提的是,该项目的代码已经开源,供广大研究人员和爱好者使用和探索。 一、FRESCO是什么? FRESCO在设计时考虑了帧间对应关系,并引入了帧内对应概念,从而构建了一个更加稳定…- 2.4k
-
LaVie – 高质量文生视频AI大模型,本地整合包,免安装,免训练,免费使用。
一、LaVie是什么? LaVie是一个高质量视频生成项目,使用级联潜在扩散模型。这个项目是由Vchitect开发的官方PyTorch实现。LaVie是一个文本到视频(T2V)生成框架,是视频生成系统Vchitect的主要部分。它还包括一个针对图像到视频(I2V)模型SEINE的微调版本。 二、LaVie的网站地址: 1、论文地址: https://arxiv.org/abs/2309.15103…- 1.9k
-
Cutie – 高质量视频一键精准抠像分离AI工具,短视频剪辑利器,视频换背景、去人物原来如此简单!
Cutie用于自动识别和追踪视频里的特定物体,比如一个人或一辆车。假设你有一段视频,里面有很多人和物体在移动,Cutie可以自动找出其中一个特定的人并一直追踪他。 一、Cutie是什么? Cutie 是一个视频对象分割框架,是XMem的后续作品,具有更好的一致性、鲁棒性和速度。该存储库包含用于标准视频对象分割的代码和用于交互式视频分割的 GUI 工具。 GUI 工具还包含“永久内存”(来自XMem…- 2.4k
-
VideoReTalking – 虚拟数字人视频AI工具整合包,同步音频嘴型/面部表情,腾讯出品~
你只需要输入任意一个视频和一个音频文件,它能给你生成一个新的视频,在这个视频里,人物的嘴型会与音频同步。VideoReTalking不仅可以让嘴型与声音同步,还可以根据声音改变视频中人物的表情。整个过程不需要用户干预,都是自动完成的。 一、什么是VideoReTalking? VideoReTalking,这是一种新的AI系统,可以根据输入音频编辑现实世界中头部说话视频的面孔,即使具有不同的情绪,…- 4.1k
-
MagicTime – 高质量延时视频生成AI工具,本地整合包,一键制作生长动画,北大开源
马斯克克星,又一开源Sora模型火了,已开源! 一、MagicTime 是什么? 由北京大学团队研发的MagicTime是一个创新性的框架,旨在生成具有可变时间特性的延时视频(又称为Metamorphic Videos)。这意味着用户能够仅通过输入文本提示,就能创造出展示物体随时间变化过程的延时摄影视频。比如花朵开放,冰块融化等,能够学习并应用现实世界的物理规律。 这个项目通过分析大量的时间延迟视…- 1.2k
-
DynamiCrafter – 图片转动画视频AI工具,腾讯出品
一、DynamiCrafter是什么? DynamiCrafter是一款由腾讯、北大等人开发的图像动画工具。通过利用预训练的视频扩散先验,可以基于文本提示为开放域的静止图像添加动画效果。该工具支持高分辨率模型,提供更好的动态效果、更高的分辨率和更强的一致性。 二、DynamiCrafter开源地址: 1、Github仓库: https://github.com/Doubiiu/DynamiCraf…- 2.7k
-
ASR – 视频/语音自动生成字幕工具,本地整合包,AI视频剪辑必备神器~
一、ASR是什么? ASR全称Automatic Speech Recognition,自动语音识别也称为语音转文本 (STT),是将给定音频转录为文本的任务。它有很多应用,例如语音用户界面。 二、ASR的项目地址: https://huggingface.co/tasks/automatic-speech-recognition 三、ASR的使用场景: 1、虚拟语音助手 许多边缘设备都有嵌入式虚…- 1.8k
-
v2vt – 视频自动翻译AI工具,本地整合包,HeyGen最佳平替,B站大神免费开源~
大家最近肯定刷到很多名人说英文的视频,今天分享一个能够将任意语言视频自动翻译成中文的小工具,可以解决语言障碍问题,轻松英文语音转中文。 一、v2vt是什么? 带有口型同步功能的视频翻译的开源项目,可以完成转录视频语音并翻译、语音克隆、口型同步、压制字幕、支持中英视频互相转换等工作。 二、v2vt的开源地址: https://github.com/halfzm/v2vt 三、v2vt的功能亮点: ⚙…- 1.9k
-
Vid2Densepose + MagicAnimate – 一键AI本地整合包,视频生成骨骼动画,一张照片就能生成跳舞视频,抖音小姐姐要失业?
Vid2DensePose 将你的视频转换为 Densepose 序列,并在 MagicAnimate 上使用它,MagicAnimate目前依赖DensePose作为约束,如果想尝试转换自己的视频,需要先生成DensePose序列。我们将Vid2Densepose + MagicAnimate 制作成一键启动包,点击即可使用, 一、Vid2Densepose 1、Vid2Densepose是什么…- 2.3k
-
DiffMorpher – AI实现图像间平滑过渡视频工具,一键制作抖音爆火的小女孩的一生~
一、DiffMorpher是什么? DiffMorpher是一项人工智能技术,它利用先进的扩散模型,能够在两张图像之间实现平滑且自然的形变,生成过渡视频。这一技术在图像生成领域展现了突破性的进展,大幅提升了生成视频的质量,使其超越了以往的生成模型。 扩散模型在图像生成质量方面已经取得了令人瞩目的成就,但与生成对抗网络(GAN)相比,扩散模型在进行两个图像样本之间的平滑插值方面存在一些挑战。这是因为…- 1.8k