一、FLUX-Text介绍
FLUX 模型是由 Black Forest Labs 团队推出的一系列文本生成图像模型,其核心采用了扩散 Transformer 架构。Flux Text Encoders是一种专门为ComfyUI设计的文本编码器,它能够与DualClipLoader节点协同工作,为图像和文本提供强大的特征提取能力。通过使用Flux Text Encoders,您可以轻松地将文本信息与图像信息结合,从而创建更为复杂的AI模型。例如,FLUX.1[dev]版本包含了约120亿参数,是一种校正流(Rectified Flow)Transformer 模型,可以根据文本描述生成高保真图像。
二、环境搭建
在使用Flux Text Encoders之前,您需要确保您的系统已经安装了ComfyUI。在开始使用Flux Text Encoders模型之前,你需要搭建一个合适的环境。以下是环境搭建的步骤:
- 克隆ComfyUI仓库到本地环境。
- 安装必要的依赖库。
- 确保您的环境支持Python 3.x。
项目地址:https://amap-ml.github.io/FLUX-text/
gitHub地址:https://github.com/AMAP-ML/FluxText
网盘下载解压后放到目录:**custom_nodes** 模型的话,一共需要2个
- 核心的Fill模型整套,随便放哪里,到时候路径要指定到该模型根目录下
- pytorch_lora_weights.safetensors,这个模型丢lora
- FLUX.1-Turbo-Alpha.safetensors 这个是加速模型,可选
三、使用说明
最强FluxText文字编辑,支持中文,字体风格自动匹配
pipe_name:这个指定你下载的Fill模型的本地路径 flux_text:
flux_text需要用到的lora模型 bolocks_to_swap:这个很重要是块交换参数,在视频里面经常用到,截图里面看到的参数是对应18G显存的,如果你本地显存太低,就可以调高这个值,比如从10改成12,显存就只占用16G,大家根据实际情况调整。
其他的操作就是很简单了,用户上传一张图,右键涂抹要修改的区域,区域涂抹或者线条框选都行,然后填写你要修改的文字,点击执行就ok了。
注意点:
- 涂抹的区域文字数量和要修改的保持一样,比如你涂抹了2个字,就修改2个字,改成3个字效果就不好。
- 系统会参考周边文字的样式风格,所以你不要全涂抹,那样效果很差,风格就变了,至少留一个字在那边参考。
- 原图文字如果不明显的情况下,有概率报错,下文有介绍。
- 默认显存消耗18G左右,本地显存低的朋友,调高blocks_to_swap可以有效降低显存使用。
四、总结
以上就是最新支持中文的文本编辑模型FluxText的介绍了,真不容易,ComfyUI生态终于也有了好用的可以修改中文的技术框架了,后面希望出来一个直接生成中文比肩即梦豆包闭源的模型。
技术的迭代是飞快的,要关注最新的消息才不会掉队。