本文介绍在Windows使用ComfyUI本地部署Stable Video Diffusion,以图像或文本提示作为输入生成高质量的视频。
实践环境:
- Windows 11
- ComfyUI v0.2.4
- stable-video-diffusion-img2vid-xt
Stability AI 在 2024 年 10 月 22 日推出 Stable Diffusion 3.5,包含多个型号变体,包括 Stable Diffusion 3.5 Large 和 Stable Diffusion 3.5 Large Turbo,以及稍晚发布的 Stable Diffusion 3.5 Medium。
这些模型的尺寸可高度定制,可在消费级硬件上运行,并且根据宽松的Stability AI 社区许可,可免费用于商业和非商业用途。
Stable Diffusion 是一种生成人工智能模型,可以根据文本和图像提示生成独特的逼真图像。Stable Diffusion和ChatGPT、Midjourney是AIGC应用快速体验推荐的应用,也与 Meta Llama 3 一起作为开源人工智能模型的代表。
SwarmUI(以前称为 StableSwarmUI)是Stable Diffusion官方推出的一款WebUI框架,致力于易于访问、高性能和可扩展性,可以在Windows、Linux及Mac 电脑及 Docker 上运行(《AIGC应用快速体验》一文中有更多Stable Diffusion用户界面的介绍),支持Stability AI自家的SD 1.5、SDXL、SD3、Stable Cascade,以及 Black-Forest-Labs FLUX 模型,Black-Forest-Labs拥有开发第一个Stable Diffusion的原始开发人员。