comfyui工作流构建方法,以及部分常用节点讲解

先来介绍一下comfyui,它是一个进阶版的SDwebui,ComfyUI 比 WebUI 更灵活,但正因为如此,它的使用门槛也相对高一些。下图正是comfyui的界面。

comfyui工作流构建方法,以及部分常用节点讲解

感到一阵晕眩是吧,这些深灰色的板块被类似电线的彩色线条连接,其实仔细一看从左往右板块的连接是有顺序的,它们的有序连接组成了comfyui中的工作流,此图展示的是最最基本的文生图工作流,无添加无污染。

如果把webui比做有血有肉有皮肤的活人,那么comfyui就是一个人体骨骼模型,露骨到不能再露的那种,不是说comfyui仅仅只是一个空架子,而是一种灵活性和可创新性。

上图列出的文生图的基本工作流相当于那个空架子,此时的它必然比不上有血有肉的webui,但是我们可以在文生图工作流中接入额外的节点,例如:外插vae节点、lora节点、controlnet节点等等,这些节点优化了文生图这个工作流,使得图片更好的呈现,这种接入节点的过程就如同把血肉拼凑到人体骨骼模型中,直到成为一个人的样子。comfyui的灵活度就在于你可以决定这个“人”的结构,是高是矮,是男是女,或拼凑成一个人鱼或者兽人,有点抽象了,还没理解我的意思别着急,后面还会讲到。

一、Comfyui节点工作流的基本概念

与传统的图像生成 UI 不同,ComfyUI 采用了节点系统。每个节点代表一个特定的操作,比如噪声生成、采样、模型加载等。

图片中那些深灰色的板块,或大或小,一个板块是一个“节点”,多个节点有序相连是一个工作流,有点像之前讲过的神经网络结构。

节点可以大致分为以下五类:

1. 输入节点:负责输入数据到整个工作流中。例:clip文本编码器节点

2. 模型节点:这些节点负责加载和处理生成模型。例:checkpoint加载器节点

3. 处理节点:负责对中间数据进行操作或变换。例:vae编码节点

4. 采样器节点:负责采样过程,控制图像生成的具体方式。采样器决定图像生成过程中,如何通过不同的算法迭代优化图像。例:k采样器节点

5. 输出节点:负责输出最终生成的图像。这个节点会接收图像生成流程的最终结果,并将其显示或保存。例:保存图像节点

通过将不同节点连接起来,形成从生成图像到后期处理的完整流程。将一个节点的输出连接到下一个节点的输入,就能定义图像生成的每一步。

二、分别讲解基本文生图工作流中单一节点的作用

1. checkpoint加载器节点

comfyui工作流构建方法,以及部分常用节点讲解

Checkpoint加载器和VAE为什么在同一个节点?

在webui中,checkpoint加载器和VAE是分开的概念,但在comfyui中他们的关系可以更紧密。

在comfyui中,checkpoint加载器通常会加载stable diffusion的完整模型,而这个模型实际上包括了两部分:

1.U-Net模型,负责在latent space(潜空间)中进行图像生成的迭代。

2.VAE解码器,负责将latent space中的表示解码为最终的图像

这就是checkpoint加载器和VAE共处同一个结点的原因,并且整合成同一个节点也是方便使用者的应用。

不过,在一些更复杂的工作流中,使用者也可以单独加载VAE进行解码,例如引入自己事先准备好的VAE文件(如同webui中的外挂VAE),可以添加VAE节点来进行操作。

2. clip文本编码器节点comfyui工作流构建方法,以及部分常用节点讲解

与webui一致,两个clip文本编码器节点分别表示正向提示词和反向提示词,它们均作为条件影响着图片的生成

3. k采样器节点

不管是webui中的采样器还是comfyui中的k采样器此前都没有讲过,在此统一进行讲解

采样器

采样器负责指导生成过程中的噪声去除,它会根据给定的提示词条件,通过一系列迭代步骤逐渐从初始的随机噪声中生成符合提示词条件的图像,本质是一种噪声去除的数学算法。

采样器的种类有很多例如:DPM、PLMS、Euler、LMS

每一种采样器使用不同的数学方法处理latent space中的数据,决定了图像生成过程的去噪方式,选择的采样器不同,生成的图片质量、风格、速度也会不同。

至于采样器应该如何选择,这就要看你用的是什么模型,一般提供模型的平台都会在他们的模型简介中标明推荐使用的采样器算法。

在comfyui中,采样器前面多了一个“k”,这个“k”意思是karras,使用过webui的读者对这个词一定很熟悉,karras正是调度类型(类似于采样器背后的规划处理器)中的一种,它是由Tero Karras提出的改进的采样策略,适合用在稳定扩散模型中。

K采样器可以在减少采样步骤的情况下保持较高的图像质量,而且k方法可以结合不同的采样算法使用,例如DPM、Euler等(其实这一点在高版本的秋葉包webui中也做到了)。

调度器

其中karras就是调度器的一种,它决定了每次迭代时噪声该如何调整,以及每一步需要的噪声量。comfyui工作流构建方法,以及部分常用节点讲解可以看到在此节点中有很多选项,我将以从上往下的顺序进行讲解。

1. 随机种,其实他就是webui中的seed

2. 运行后操作,此“运行”指的是生成图片,“操作”是指对随机种进行的操作,randomize(随机)则指的是操作方法,人话就是在每次生成完图片后都将对随机种进行改变,因为一张图对应一个种子,改变的方式有randomize(随机)、increment(增加)、decrement(减少),当然还有一种选择fixed(固定),就是常说的固定种子,关于其应用我在《AI绘画修手经验与心得》里面讲过了。

3. 步数,即webui中的迭代步数step

4. CFG,翻译为提示词引导系数,与webui作用一致

5. 降噪,数值是1,说明图像由噪声图像变成最终我们看到的具有清晰画面的图像时,降噪程度是100%,当然这个数值可以改变,调小会影响画面的清晰度,实际应用不大。

4. 空latent节点comfyui工作流构建方法,以及部分常用节点讲解

它在生成图像的工作流中创建了一个空白的latent空间,就像画师在绘画前需要准备画布一样。

在这个节点里我们可以调整这张画布的长度和宽度,以及画布的数量,即批次大小

三、根据SD原理划分文生图工作流中的节点

为了更好地理解工作流的运行,我会像讲解SD原理一样,把工作流分为Pixel space、latent space、conditioning三部分,如下图

comfyui工作流构建方法,以及部分常用节点讲解

Conditioning:

两个clip文本编码器节点

latent space:

空latent节点和k采样器节点

pixel space:

Vae解码节点、保存图像节点

唯独checkpoint加载器节点没有被划分到任何空间中。Checkpoint加载器节点不直接属于这三个空间,它可以被看作是模型初始化的一部分,它为u-net和vae等模型提供了权重和结构,是整个生成流程的基础准备阶段,所以他是一个独立的准备节点,提供计算基础。

四、模型安装方法

大模型的下载可以观看下面的视频,内含comfyui的安装方式和comfyui与webui共用模型的操作方法(放心comfyui和webui生成图像的原理均为SD,两者的模型是可以做到兼容的),至于此前没有接触过webui的读者,我建议在了解使用webui后再来学习comfyui。

https://www.2020web.cn/856.html

第二种下载方式:可以把大模型直接手动放入既定模型文件夹,不仅限于大模型,Lora、controlnet、vae同样可以用这种方式来装载模型,以下是对应的既定文件夹

打开comfyui根目录(就是你当初你下载comfyui时,装进你电脑盘里面的那个文件夹)打开models文件夹

大模型放进checkpoints文件夹中

Lora就放进loras文件夹中

Controlnet专用模型就放入controlnet文件夹

以此类推,如果你有想要在comfyui中装载的模型,在models中找到对应文件名,再把模型拖入文件夹即可(如果此前你已下载webui及其模型,我并不推荐你这么做,模型文件会占用你两倍的内存空间)。

还有一种在comfyui中内置下载模型的方法,可自行搜索,此处不做讲解

温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。用户必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!

给TA打赏
共{{data.count}}人
人已打赏
基础教程

如何在 ComfyUI 中安装不同类型的模型

2025-4-6 17:47:31

基础教程

ComfyUI 与 WebUI 模型共享教程

2025-3-25 17:49:24

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索