ComfyUI 最强图像反推 JoyCaption2 安装教程

Joy_caption_two 是 Joy_caption 的升级版本，注重在性能与泛化能力上的提升。通过改进的语言模型和图像特征提取算法，它在处理复杂图像内容方面更为出色。这款模型尤其适合需要生成更具表现力和语境丰富的文本描述的用户。例如，在需要多场景适应性或复杂数据背景的任务中，Joy_caption_two 以其增强的描述能力展现了独特的价值。

一款专为AI绘画反推工具量身定制的插件。它独具匠心，能够从生成的图像中逆向推导出可能采用的提示词prompts，进而帮助用户洞悉模型对特定输入的响应机制。这一反推功能在优化和控制AI绘画效果方面大有裨益，尤其适合那些期望通过改进提示词来提升图像质量的用户。

模型下载

CLIP模型

模型地址：https://hf-mirror.com/google/siglip-so400m-patch14-384/tree/main
所有模型下载到：ComfyUI/models/models/clip/siglip-so400m-patch14-384/

2.LLM模型
unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit

模型地址：https://hf-mirror.com/unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit/tree/main
所有模型下载到ComfyUI/models/models/ComfyUI/models/LLM/Meta-Llama-3.1-8B-Instruct-bnb-4bit/

3. Joy-Caption-alpha-two 模型

模型地址: https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two/tree/main/cgrkzexw-599808
所有模型下载到ComfyUI/models/models/ComfyUI/models/models/Joy_caption_two/

下载完成后重启ComfyUI

问题与处理

运行后遇到以下问题 猜测是transformers版本问题，
查询当前transformers 版本

pip show transformers
#显示当前版本号为 4.49.0
Name: transformers
Version: 4.49.0

推荐版本号 4.44.0
删了当前版本重新安装

pip uninstall transformers
pip install transformers==4.44.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

重新运行

Exception during processing !!! Failed to import transformers.models.timm_wrapper.configuration_timm_wrapper because of the following error (look up to see its traceback):
cannot import name 'ImageNetInfo' from 'timm.data' (/opt/miniconda3/lib/python3.12/site-packages/timm/data/__init__.py)
Traceback (most recent call last):
File "/opt/miniconda3/lib/python3.12/site-packages/transformers/utils/import_utils.py", line 1863, in _get_module
return importlib.import_module("." + module_name, self.__name__)