SD3是一个多模态的 Diffusion Transformer 模型,这个模型有什么特点呢?这里给大家简单拆解下:
- Stable Diffusion 3 模型生成图像:
- SD3 Medium - 20 亿参数模型
- SD3 Large - 80亿参数模型
- SD3 Large Turbo - 80 亿参数模型,推理时间更快
今年2月份,在OpenAI推出视频生成大模型Sora后,Stability AI公开了最强大的文生图模型Stable Diffusion 3,采用与Sora相同的diffusion transformer架构,与之前的版本相比,SD3在生成图像的质量上有了显著提升。
安装路径:
模型中官方给了三个版本:
- sd3_medium.safetensors 包括 MMDiT 和 VAE 权重,但不包括任何文本编码器。
- sd3_medium_incl_clips.safetensors 包括除 T5XXL 文本编码器之外的所有必要权重。它需要的资源很少,但如果没有 T5XXL 文本编码器,模型的性能会有所不同。
- sd3_medium_incl_clips_t5xx1fp8.safetensors 包含所有必要的权重,包括 T5XXL 文本编码器的 fp8 版本,在质量和资源要求之间提供平衡。
大模型存放位置:ComfyUI\models\checkpoints
-
- text_encoders 文件夹包含三个文本编码器及其原始模型卡链接,方便用户使用。text_encoders 文件夹中的所有组件(以及嵌入在其他包中的等效组件)均受其各自原始许可证的约束。
CLIP 模型存放位置:ComfyUI\models\clip
注意:使用 sd3_medium_incl_clips_t5xx1fp8.safetensors(也即是最大的大模型)模型时将不再需要使用 CLIP 模型