一、Qwen-Image-edit简介
在之前文章已经多次介绍过最新阿里团队开源的一致性图像编辑框架:Qwen-Image-edit框架(阿里Qwen图像编辑:一致性显著提升修复方案!20B国产图像编辑模型经典案例集锦)。但由于在图像编辑中存在位置偏移很大程度的影响一致性图像编辑质量,因此在开源社区一直生态未迅速发展起来。今天的文章将介绍来自社区的大佬小志Jason开源了个人研究实践心得,并封装为comfyui插件节点和一致性lora,能够在很大程度上解决Qwen-Image-edit一致性编辑中位置偏移问题。节点采用了类Kontext方法,该节点不再是输入图像传递二次,两次使用不一致编码。并且将“文本提示 + 参考图”打包编码成 Qwen-Image-Edit 可直接使用的条件向量与潜码,同时自动完成分辨率缩放、VAE 编码和 CLIP 文本编码,一站式输出 CONDITIONING / LATENT / 处理后图像,以及1024建议分辨率设置。
二、模型与环境安装
本文使用Comfyui-QwenEditUtils插件体验。模型和工作流文末网盘下载!
Comfyui-QwenEditUtils:https://github.com/lrzjason/comfyui-QwenEditUtils
consistence_edit_v1:下载模型并放置 /ComfyUI/models/loras
目录下。
三、模型测评与体验
Qwen-Image-edit位置偏移方案工作流如下所示(模型和工作流文末网盘下载!):
该节点提供文本编码功能,并为基于 Qwen 的图像编辑工作流提供参考图像支持。它允许您对提示进行编码,同时合并参考图像以生成更受控的图像。
插件使用教程:
- 将“TextEncodeQwenImageEdit 小志Jason(xiaozhijason)”节点添加到工作流中。
- 将 CLIP 模型连接到剪辑输入。
- 在提示字段中输入您的文本提示。
- (可选)将参考图像连接到图像输入。
- 根据需要配置分辨率和enable_resize选项。
- 将输出连接到图像生成节点。
主要特点
- 参考图像支持:将参考图像合并到文本到图像生成工作流程中
- 自动调整图像大小:自动将参考图像大小调整为最佳尺寸
- 多种分辨率预设:从各种分辨率选项中进行选择(512 至 2048)
- 潜在空间集成:将参考图像编码到潜在空间中以实现高效处理
- Qwen 模型兼容性:专为基于 Qwen 的图像编辑模型设计
解决建议
建议的分辨率为 1024,这为大多数用例提供了质量和性能的最佳平衡。
性能警告:使用 1024 以外的分辨率可能会导致:
- 生成质量下降
- 处理时间较慢
- 更高的内存消耗
- 在某些情况下行为不稳定
仅当您有 1024 预设无法满足的特定要求时,才选择替代分辨率。
四、案例展示
提示词:
修改衣服为红色衣服,保持人物一致性
五:文章总结
关于Qwen-Image-edit使用技巧总结如下:
Qwen-Image-edit一致性图像编辑是一款优秀的图像编辑框架,特别是中文渲染方面。但是由于位置偏移问题 一致性影响了它的生态发展。Comfyui-QwenEditUtils就是社区给出的解决方案之一,使用类Kontext工作流配合一致性lora使用,能够极大的解决一致性问题。另外,能够显著看出在服装方面一致性也有很大的增强。。但由于一致性lora原本目的是为了高清,训练图集并不多,可能存在某些场景不稳定,需要抽卡等解决。
另外, Qwen-Image-edit官方团队也在训练新版本的编辑模型,希望能在下一个版本中得到更好的解决。