关于 VACE
VACE 14B 是阿里通义万相团队推出的开源视频编辑统一模型。该模型通过整合多任务能力、支持高分辨率处理及灵活的多模态输入机制，显著提升了视频创作的效率与质量。 该模型基于 Apache-2.0 协议开源，可用于个人或商业用途。 以下是其核心特性与技术亮点的综合分析：- 多模态输入：支持文本、图像、视频、遮罩、控制信号等多种输入形式
- 统一架构：单一模型支持多种任务，可自由组合功能
- 动作迁移：基于参考视频生成连贯动作
- 局部替换：通过遮罩替换视频中的特定区域
- 视频扩展：补全动作或扩展背景
- 背景替换：保留主体更换环境背景
相关模型权重和代码仓库：
模型下载及在工作流中的加载
由于本篇文档中涉及的几个工作流都使用同一套工作流模板，所以我们可以先完成模型下载及加载的信息介绍，然后通过 Bypass 不同的节点来启用/禁用不同的输入来实现不同的工作流。 在具体示例中对应的工作流信息中已经嵌入了模型下载信息，所以你也可以在下载具体示例的工作流时来完成模型下载。模型下载
diffusion_models wan2.1_vace_14B_fp16.safetensors wan2.1_vace_1.3B_fp16.safetensors VAE 从Text encoders 选择一个版本进行下载 文件保存位置模型加载
由于本指南涵盖的工作流中使用的模型一致，工作流也相同，仅通过 Bypass 不同节点来启用/禁用不同的输入，请参考以下图片，确保在不同的工作流中正确加载了相应的模型。- 确保
Load Diffusion Model节点加载了wan2.1_vace_14B_fp16.safetensors - 确保
Load CLIP节点加载了umt5_xxl_fp8_e4m3fn_scaled.safetensors或者umt5_xxl_fp16.safetensors - 确保
Load VAE节点加载了wan_2.1_vae.safetensors
如何取消节点的 Bypass 状态
当一个节点被设置为 Bypass 状态时，通过该节点的数据将不受节点的影响，直接输出，下面是如何取消节点的 Bypass 状态的三种方法 我们通常在不需要一些节点时设置节点的 Bypass 状态，而不用将它们从节点中删除改变工作流。- 选中节点后，在选择工具箱中点击标识部分的箭头，即可快速切换节点的 Bypass 状态
- 选中节点后，鼠标右键点击节点，选择
模式(Mode)->总是(Always)切换到 Always 模式 - 选中节点后，鼠标右键点击节点，选择
绕过(Bypass)选项，切换 Bypass 状态
1. VACE 文生视频
功能说明： 使用 Wan2.1 VACE 14B 模型将文本描述变换为高质量视频。支持 480p 和 720p 分辨率。Wan2.1 VACE 文生视频
将文本描述变换为高质量视频。支持使用 VACE-14B 模型生成 480p 和 720p 分辨率的视频。在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON，或在模板库中搜索 “Wan2.1 VACE 文生视频”
运行步骤
请按照图片中的编号步骤操作，以确保工作流顺利执行：- 在
CLIP Text Encode (Positive Prompt)节点中输入正向提示词 - 在
CLIP Text Encode (Negative Prompt)节点中输入负面提示词 - 在
WanVaceToVideo节点中设置图像尺寸（首次运行推荐使用 640x640 分辨率）和帧数（视频时长） - 点击
Run按钮，或使用快捷键Ctrl(cmd) + Enter（回车）执行视频生成 - 生成完成后，视频将自动保存到
ComfyUI/output/video目录下（子文件夹位置取决于save video节点的设置）
VACE 图生视频工作流
你可以继续使用上面的工作流文件，只需要将 Load reference image 的Load image 节点的 Bypass 取消，并输入对应的图片，你也可以使用下面的图片，在这个文件里，我们已经完成了对应的参数设置。
1. 工作流下载
下载下面的视频，并拖入 ComfyUI 中，以加载对应的工作流 请下载下面图片作为输入图片2. 按步骤完成工作流的运行
请参照图片序号进行逐步确认，来保证对应工作流的顺利运行- 在
Load image节点中输入对应的图片 - 你可以像文生图工作流一样完成提示词的修改和编辑
- 在
WanVaceToVideo设置对应图像的尺寸（首次运行建议设置 640*640 的分辨率），帧数（视频的时长） - 点击
Run按钮，或者使用快捷键Ctrl(cmd) + Enter(回车)来执行视频生成 - 生成完成后对应的视频会自动保存到
ComfyUI/output/video目录下（子文件夹位置取决于save video节点设置）
3. 工作流补充说明
VACE 还支持在一张图像中输入多个参考图像，来生成对应的视频，你可以在 VACE 的项目页中看到相关的示例3. VACE 视频转视频
功能说明： 使用 Wan VACE 通过控制输入视频和参考图像来生成视频。通过参考素材控制视频的风格和动作。Wan2.1 VACE 控制视频
使用 Wan VACE 通过控制输入视频和参考图像来生成视频。在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON，或在模板库中搜索 “Wan2.1 VACE Control Video”
参考图像
输入参考图像，用于提供风格和内容。
控制视频（已预处理）
已预处理的深度控制视频。可直接在 Load control video 下的
Load Video 节点中使用。- 用于参考的输入图像：
- 下面的视频已经过预处理，将用于控制视频生成：
- 下面的视频是原始视频。你可以下载这些素材，并使用类似 comfyui_controlnet_aux 的预处理节点对图像进行预处理：
运行步骤
请按照图中的编号步骤操作，以确保工作流顺利执行：- 在 Load reference image 下的
Load Image节点中输入参考图像 - 在 Load control video 下的
Load Video节点中输入控制视频。由于提供的视频已经过预处理，无需进行额外处理 - 如果你需要自行预处理原始视频，可以修改 Image preprocessing 分组，或使用
comfyui_controlnet_aux节点来完成预处理 - 修改提示词
- 在
WanVaceToVideo中设置图像尺寸（首次运行推荐使用 640x640 分辨率）和帧数（视频时长） - 点击
Run按钮，或使用快捷键Ctrl(cmd) + Enter来执行视频生成 - 生成后，视频将自动保存到
ComfyUI/output/video目录（子文件夹位置取决于save video节点设置）
4. VACE Inpainting
功能： 编辑视频中的特定区域，同时保留周围内容。非常适合用于物体移除或替换。Wan2.1 VACE Inpainting
编辑视频中的特定区域，同时保留周围内容。非常适合用于物体移除或替换。在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON，或在模板库中搜索“Wan2.1 VACE Inpainting”
输入视频
用于 inpainting 的输入视频。请在
Load Video 节点中加载。首帧与遮罩
带遮罩叠加的首帧，用于标记 inpainting 区域。
参考图像
用于 inpainting 内容的参考图像。
5. VACE 视频外扩
功能说明： 使用 Wan VACE 外扩功能，扩展视频尺寸以生成扩展视频。Wan2.1 VACE 外扩
使用 Wan VACE 外扩功能，扩展视频尺寸以生成扩展视频。在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON，或在模板库中搜索 “Wan2.1 VACE Outpainting”
输入视频
用于外扩的输入视频。在
加载视频 节点中加载。6. VACE 首尾帧视频生成
功能： 通过定义起始帧和结束帧来生成平滑的视频过渡效果。支持自定义关键帧序列。Wan2.1 VACE 首尾帧
通过定义起始帧和结束帧来生成平滑的视频过渡效果。支持自定义关键帧序列。在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON，或在模板库中搜索“Wan2.1 VACE First-Last Frame”
起始帧
起始帧图像。在
Load Image 节点中加载。结束帧
结束帧图像。在
Load Image 节点中加载。length 设置必须满足 length-1 能被 4 整除。
对应的 Batch_size 设置必须满足 Batch_size = length - 2。
[待更新]