Black Forest Labs 推出四款功能性模型,显著扩展了 Flux 生态的图像创作能力。此次更新包含 Fill、Canny、Depth 和 Redux 四大模型,支持外绘扩展(outpainting)、局部重绘(inpainting)、风格迁移及深度/边缘控制等专业功能。值得关注的是,Fill 模型通过智能补全技术实现了像素级精度的局部修改与画布拓展,为设计工作流带来突破性效率提升。
:
FLUX.1 Fill: 最先进的图像修复(inpainting)和扩展(outpainting)模型,能够根据文本描述和二值遮罩编辑和扩展真实或生成的图像。
FLUX.1 Depth: 通过从输入图像中提取深度图和文本提示,实现结构化引导的模型。
FLUX.1 Canny: 通过从输入图像中提取 Canny 边缘和文本提示,实现结构化引导的模型。
FLUX.1 Redux: 一种适配器,支持混合和再创作输入图像和文本提示。
FLUX.1 Fill 主要包含 inpainting(局部重绘)和 outpainting (外绘拓展)两大功能。官方称这是目前最好的图像修复模型,不仅处理速度快,新生成的内容也可以和原图无缝衔接。
FLUX.1 Depth 和我们熟知的 Controlnet depth 作用是一样的。先提供一张图像,它会提取其中的深度结构,然后结合提示词生成一张相似的新图像。官方提供给了大模型和 Lora 两种方式来实现此效果,大模型可以单独使用,LoRA 需要与 FLUX.1 大模型搭配使用。Flux.1 Canny 同理。
FLUX.1 Redux 可理解为一个图像变体生成模型,作用类似于 IP-Adapter。给出一张图像,它可以生成在内容、构图、风格、角色特征等方面类似的新图像。官方表示它适合集成到一些更复杂的工作流中,帮助用户通过图像来引导新图像的生成。
Fill 功能对应的模型是 flux1-fill-dev.safetensors,模型大小 23.8 G。使用时先将 ComfyUI 更新到最新版本,然后将模型安装到根目录的 ComfyUI/models/unet 文件夹。
Inpainting 局部重绘的具体工作流如下。上传图像后,在图像上单击右键,选择 Open in MaskEditor(在蒙版编辑器中打开),然后用画笔涂抹需要重绘的部分,再填写提示词,最后生成即可。
使用方法:
先将 ComfyUI 更新到最新版本,
flux1-depth-dev.safetensors 和 flux1-canny-dev.safetensors、flux1-fill-dev 大模型放到根目录的 ComfyUI/models/unet 文件夹。(Depth 和 Canny 的工作流主体是一样的,只是在图像预处理部分有所不同。)
redux模型文件放到comfyUI的models/style_models文件夹
Redux 可以 flux dev 或 schnell 模型配合使用, 具体方法如下:
1)将 ComfyUI 更新到最新版本。下载 sigclip_vision_patch14_384.safetensors 模型,安装到ComfyUI/models/clip_vision 文件夹中,下载 Flux1-redux-dev.safetensors 模型,放入 ComfyUI/models/style_models 文件夹中。
2)对于单张图像,先安装 ComfyUI_AdvancedReduxControl 插件,它可以调节控制图像/提示词的应用强度,从而得到更好的图像融合效果。然后从插件文件夹中加载官方工作流 advanced_workflow 进行使用。