本篇将引导了解基础的 Depth ControlNet 概念,并在 ComfyUI 中完成对应的图像生成
深度图与 Depth ControlNet 介绍
ControlNet的Depth模式是一种功能,它可以帮助用户生成深度图,即图像中各个场景区域的距离图。
在Depth模式中,用户可以通过多种预处理器进行深度图的生成,例如”depth_midas”和”depth_leres”等。这些预处理器可以将原图进行区域划分,根据灰阶色值的不同,区分出图像中元素区域的远近关系。
使用Depth模式的具体操作如下:
- 选择需要处理的图像,并将其上传到ControlNet中。
- 在Depth选项卡中选择合适的预处理器,例如”depth_midas”或”depth_leres”。
- 点击”启动”、”Pixel Perfect”和”Allow Preview”按钮,此时ControlNet会自动对图像进行处理,并生成深度图。
- 从预览图中可以看到处理后的深度图效果,此时可以输入关键词并生成新的图像。
在生成的深度图中,不同的灰阶色值表示不同的距离。例如,灰阶数值0的区域表示图像中最远的区域,而灰阶数值255的区域表示图像中最近的区域。因此,通过观察深度图,用户可以更好地理解图像中各个元素之间的距离关系。
深度图结合 ControlNet 应用场景
深度图在多种场景中都有比较多的应用:
- 人像场景:控制人物与背景的空间关系,避免面部等关键部位畸变
- 风景场景:控制近景、中景、远景的层次关系
- 建筑场景:控制建筑物的空间结构和透视关系
- 产品展示:控制产品与背景的分离度和空间位置
本篇示例中,我们将使用深度图生成建筑可视化的场景生成。
ComfyUI ControlNet 工作流示例讲解
1. ControlNet 工作流素材
请下载下面的工作流图片,并拖入 ComfyUI 以加载工作流
Metadata 中包含工作流 json 的图片可直接拖入 ComfyUI 或使用菜单 Workflows
-> Open(ctrl+o)
来加载对应的工作流。 该图片已包含对应模型的下载链接,直接拖入 ComfyUI 将会自动提示下载。
请下载下面的图片,我们将会将它作为输入。
2. 模型安装
如果你网络无法顺利完成对应模型的自动下载,请尝试手动下载下面的模型,并放置到指定目录中
- architecturerealmix_v11.safetensors
- control_v11f1p_sd15_depth_fp16.safetensors
ComfyUI/
├── models/
│ ├── checkpoints/
│ │ └── architecturerealmix_v11.safetensors
│ └── controlnet/
│ └── control_v11f1p_sd15_depth_fp16.safetensors
3. 按步骤完成工作流的运行
- 确保
Load Checkpoint
可以加载 architecturerealmix_v11.safetensors - 确保
Load ControlNet
可以加载 control_v11f1p_sd15_depth_fp16.safetensors - 在
Load Image
中点击Upload
上传之前提供的 Depth 图像 - 点击
Queue
按钮,或者使用快捷键Ctrl(cmd) + Enter(回车)
来执行图片的生成