本指南提供了在 ComfyUI 中安装各种模型的全面概述。它涵盖了不同类型模型的安装过程,包括 Stable Diffusion 检查点、LoRA 模型、嵌入、VAE、ControlNet 模型和放大器。通过遵循本指南,您将学习如何扩展 ComfyUI 的功能,并使用这些基本模型增强您的 AI 图像生成工作流程。
安装Checkpoint模型:
下载Stable diffusion 的渠道有很多,Hugging Face 、Civitai 等等,这里我建议你使用 Civitai 这个网站,这个内容比较丰富,也有很多的模型可以下载
- 打开 Civitai 模型板块 https://civitai.com/models
- 在页面菜单点击筛选器
Filters
- 在
Filters
的弹窗中Model types
中选择Checkpoint
- 如果你需要特定的模型版本则可以在
Base model
这个分类这里,选择特定的模型版本 - 浏览页面,通常封面都是效果预览,你可以选择一个你需要的模型
- 点击模型卡片进入详情页,你可以看到蓝色的
Download
按钮,点击下载 - 等待下载完成,进行下一步
第二步:在 ComfyUI 中安装对应的模型
📁ComfyUI_windows_portable
// ComfyUI 官方便携版├── 📁ComfyUI
// comfy UI主要文件夹│ ├──📁 models
// 模型安装文件夹│ | ├── 📁 checkpoints
// 💡 你需要把下载到的模型文件放到这个文件夹│
│ └── ...
│ └── ...
└── ...
由于不同版本的 Stable diffusion 模型所使用的其它模型如 LoRA、CotrlNet、Embedding模型等他们的模型版本都需要对应,所以我非常建议你在安装时多新建一个文件夹用来区分模型版本 比如像下面这样的结构
📁ComfyUI_windows_portable
├── 📁ComfyUI
│ ├──📁 models
│ | └── 📁 checkpoints
│ │ ├── 📁 SD1.5
│ │ ├── 📁 SD2.0
│ │ ├── 📁 SDXL
│ │ ├── 📁 FLUX
│ │ └── ...
│ └── ...
└── ...
将你的模型文件存放到对应的文件夹内,请放心,ComfyUI 可以识别到你的文件层级,这样在日常的使用中更容易区分
安装 ControlNet 模型
从上述资源页面下载所需的 ControlNet 模型文件。这些文件通常以 .pth
或 .safetensors
为扩展名。
放置模型文件
将下载的 ControlNet 模型文件放入 ComfyUI 的指定目录:
ComfyUI/models/controlnet/
安装 Embeddings(Textual Inversion) 模型
Embeddings(Textual Inversion)模型,通常在模型站上,我们可以看到embedding模型,它能够输出特定的风格。例如,它可以生成平面风格的图像,或者使画面中的人物具备某些特征,甚至让整个画面呈现特定的艺术风格。此外,embedding模型的体积通常很小,只有几KB。 你可以把它简单理解为一个提示词(prompt)的压缩包
,原本你需要很复杂的文本描述才可以达到的效果,通过 Embedding 模型都可以轻易做到,再加上他的体积很小,所以使用起来非常方便
Embeddings(Textual Inversion)模型的作用主要是 用于在图像中嵌入特定的元素特征,如画面风格、人物特点、场景特征等,从而让模型生成符合这些特征的图像。
放置模型文件
模型存放位置在
“ComfyUI/models/embeddings”
重启或者刷新 ComfyUI 界面即可加载对应的 embedding 模型
💡因为模型需要区分版本,为了方便你后期的使用,我建议你对模型文件进行重命名加上一个模型版本前缀如”SD1.5-模型名称”,或者不重新命名,在 对应模型 目录下新建一个文件夹,用大模型版本来命名如“SD1.5”,然后将你的模型文件复制到如“ComfyUI_windows_portable/ComfyUI/models/embedding/sSD1.5”里面去
📁ComfyUI
├── 📁models│
└── 📁embeddings
│ └── 📁SD1.5
// 存放embedding模型
安装使用 Hypernetwork 模型
Hypernetwork(超网络),就像是一个有特殊能力的助手,它可以帮助其他的神经网络变得更聪明。想象一下,你有一支足球队,每个球员都有自己的位置和技能。现在,如果有一个教练,他可以根据比赛的需要,临时给球员们一些额外的技能或建议,让球队表现得更好。Hypernetwork(超网络)在这个比喻中,就扮演了那个教练的角色。
ComfyUI中 Hypernetwork 模型如何安装?
模型存放位置在
“ComfyUI/models/hypernetworks”
然后重启或者刷新 ComfyUI 界面即可加载对应的 LoRA 模型
💡因为模型需要区分版本,为了方便你后期的使用,我建议你对模型文件进行重命名加上一个模型版本前缀如”SD1.5-模型名称”,或者不重新命名,在 对应模型 目录下新建一个文件夹,用大模型版本来命名如“SD1.5”,然后将你的模型文件复制到如 “ComfyUI/models/hypernetworks/SD1.5” 里面去.如果你是与其它GUI共享模型文件,请参照 安装comfyui 中共享模型部分的说明,将对应的模型文件复制安装到对应的文件夹去
安装使用 LoRA 模型
想象一下,你有一个多功能的机器人厨师,它可以做出各种基本的菜肴。但是,如果你想让这个机器人厨师做出一些特别的、有特定风味的菜肴,比如意大利的披萨或者中国的饺子,你就需要给它一些额外的“食谱”。
- Stable Diffusion Stable Diffusion 就像是这个多功能的机器人厨师,它可以根据不同的食材(描述)做出各种各样的菜肴(图片)。它非常擅长理解你的要求,并创造出符合你描述的美味佳肴。
- LoRA 模型 LoRA 模型就像是给这个机器人厨师提供的额外“食谱”。这些“食谱”可以帮助机器人厨师学会制作一些特别的菜肴,让它的烹饪技巧更加丰富。
作用
- 个性化:使用 LoRA,机器人厨师可以制作出更加个性化的菜肴,满足你对特定风味的需求。
- 灵活性:即使学会了新的“食谱”,机器人厨师仍然可以制作其他任何菜肴,这就像是它变得更加多才多艺了。
- 效率:LoRA 允许机器人厨师在不忘记原有烹饪技巧的情况下学习新的“食谱”,这样它就可以更快地制作出你想要的菜肴。
ComfyUI中 LoRA 模型如何安装?
模型存放位置
“ComfyUI/models/loras”
然后重启或者刷新 ComfyUI 界面即可加载对应的 LoRA 模型
💡因为模型需要区分版本,为了方便你后期的使用,我建议你对模型文件进行重命名加上一个模型版本前缀如”SD1.5-模型名称”,或者不重新命名,在 对应模型 目录下新建一个文件夹,用大模型版本来命名如“SD1.5”,然后将你的模型文件复制到如“ComfyUI/models/loras/SD1.5”
里面去
安装VAE模型
VAE(Variational AutoEncoder)变分自编码器是一种重要的生成模型。想象一下,VAE就像一个非常聪明的画家:
-
编码器(Encoder): 首先,这个画家会仔细观察一幅画,并把画中的关键特征记在脑子里。这就像是把复杂的画压缩成简单的要点。
-
潜在空间(Latent Space): 画家脑子里记下的这些要点,就形成了一个想象空间。在这个空间里,画家可以自由组合这些特征。
-
解码器(Decoder): 然后,画家就可以根据脑子里的这些要点,重新画出一幅相似但又不完全一样的画。这就像是把简单的要点又还原成复杂的画作。
VAE模型在AI绘图中的作用就是帮助模型更好地理解和生成图像的细节,特别是在处理复杂的视觉元素时。
下载VAE模型文件
从上述渠道下载VAE模型文件,通常是以.pt
或.safetensors
为扩展名。
放置模型文件
将下载的VAE模型文件放入ComfyUI的指定目录:
ComfyUI_windows_portable/ComfyUI/models/vae
💡为了更好地管理模型,建议你可以在vae目录下创建子文件夹,按照大模型版本或其他分类方式组织VAE模型文件,因为通常不同类型的绘图模型比如 不同版本的stable diffusion模型之间 和 Flux绘图模型 的 VAE 不一定能够通用,例如:ComfyUI_windows_portable/ComfyUI/models/vae/SD1.5your_vae_model.safetensors