一、HiDream-I1介绍?
HiDream智象未来团队宣布开源图像生成大模型HiDream-I1与交互编辑模型HiDream-E1,从黑森林开源Flux-Dev文生图模型开源后,将文生图AI绘图领域推到一个全新的高度,至今仍然是最强的开源文生图DiT架构模型。今天将重点介绍一款最新的开源文生图模型:HiDream-I1。这是一个全新的开源图像生成基础模型,是由国内一家AI初创企业智象未来开源的。拥有 170 亿参数(Flux是12B参数),能够在几秒内实现行业领先的图像生成质量。
针对不同场景需求,HiDream-I1 提供了三种版本:
- 完整版(Full):50 步推理,适合追求极致画质的专业场景。在 HPSv2.1 基准测试中,其以 33.82 分超越 Midjourney V6(30.29 分),尤其在动漫(35.05 分)和概念艺术(33.74 分)领域表现惊艳。
- 开发者版(Dev):28 步推理,平衡效率与效果。在 880x1168 分辨率下,24G 显存仅需 45 秒即可生成高质量图像,适合快速迭代的设计流程。
- 极速版(Fast):16 步推理,12G 显存支持实时生成。通过 Q4 量化技术,用户可在普通消费级显卡上实现 "秒级出图",极大降低了创作门槛。
二、Comfyui如何安装HiDream-I
comfyui 社区的大佬已经对 HiDream-I1 模型进行了适配,让我们在本地也可以进行体验。暂时需要我们自己手动进行下载。
安装步骤如下:
1. 更新 ComfyUI 至最新版本
2. 下载comfyUI HiDream-I1 相关模型:
以上三个版本的全量版本需要 27G 以上的显存才能体验,所以插件作者也为我们提供了 NF4,16G 以上的显存就可以体验了,而且效果也很不错。
安装插件以后,第一次运行工作流的时候会自动下载模型,所有模型大概在 122G 的样子,工作流还是蛮简单的,支持中英文提示词,选择模型「model_type」的时候记得选择 nf4 结尾的模型,当然如果本地显存足够的话,大家随意。其它参数默认即可,会根据选中的模型自动调整。并且 GGUF 版本也已经支持,最低只需要 8G 显存!
好了,话不多说,我们直接开整!
• 无需安装任何插件,仅需更新ComfyUI本体到最新版本
•文本编码器:
- clip_l_hidream.safetensors
- clip_g_hidream.safetensors
- t5xxl_fp8_e4m3fn_scaled.safetensors
- llama_3.1_8b_instruct_fp8_scaled.safetensors
将这4个文件放在ComfyUI/models/text_encoders
目录中,其中第3个t5xxl玩过FLUX的基本都有了,同时VAE也是,所以VAE直接用回FLUX的VAE模型即可。
• VAE模型:需要下载VAE模型(ae.safetensors,同Flux VAE模型)放置到 /ComfyUI/models/vae
目录下。
• UNET模型:需要下载对应UNET模型( hidream_i1_dev_bf16.safetensors 或 hidream_i1_full_fp16.safetensors )放置到 /ComfyUI/models/unet
目录下。模型下载地址:https://huggingface.co/Comfy-Org/HiDream-I1
GGUF版:
如果想要使用 GGUF 版本的小伙伴记得把插件 ComfyUI-GGUF 更新到最新版本。
插件地址:https://github.com/city96/ComfyUI-GGUF
GGUF 模型下载地址:https://huggingface.co/city96/HiDream-I1-Full-gguf
不同的模型迭代步数以及采样器算法、cfg 等等都不一样,工作流中也已经做了说明,小伙伴们按照推荐参数进行设值就好了。全量版本需要显存占用 24G,fp8 需要 20G 左右。
三、工作流
加载官方工作流进行生图体验。以下生图效果是使用了一键提示词和提示词反推的功能。因为太懒了不想自己写提示词。
注意:
• 可以启用FP8模式或使用GGUF版本加载,减少显存使用。
• 官方推荐设置:HiDream Full:hidream_i1_full_fp16.safetensors:shift: 3.0;steps: 50;sampler: uni_pc;scheduler: simple;cfg: 5.0。HiDream Dev:hidream_i1_dev_bf16.safetensors: shift: 6.0;steps: 28;sampler: lcm;scheduler: normal;cfg: 1.0 (no negative prompt)。HiDream Fast:hidream_i1_fast_bf16.safetensors:shift: 3.0;steps: 16;sampler: lcm;scheduler: normal;cfg: 1.0 (no negative prompt)
• hidream_i1_dev_bf16.safetensors本地磁盘占用31G,运行速度大约1分钟多;GGUF-Q8则50秒一张3:4出图。同时当前社区已支持LORA训练。
示例:(未来机器人)
A futuristic cybernetic humanoid with a transparent body, intricate glowing neon blue circuits pulsating through its form, an AI chip embedded in the chest, ultra-detailed, hyper-realistic, cinematic lighting, sci-fi aesthetics, 8K resolution, set against a dark, futuristic cityscape with holographic billboards and flying drones.
总结:
可以看到提示词的遵循以及出图的质量以及美感依旧在线,可惜就是出图相比 flux 就有点慢了,希望后续的加速版本也可以快点和我们见面!
好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!