ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

混元3D 2.0 简介:

混元3D 2.0 是腾讯推出的开源 3D 资产生成模型,可以通过文本、图像或草图生成带有高分辨率纹理贴图的高保真 3D 模型。腾讯混元宣布开源3D生成大模型2.0版本,并上线业界首个一站式3D内容AI创作平台——混元3D AI创作引擎。开发者可在GitHub、Hugging Face等技术社区下载混元3D 2.0模型,用户也可以直接在混元3D AI创作引擎上体验。对比1.0版本,2.0版本也依然同时支持文、图生3D的能力,并在生成效果上得到显著提升,在几何结构上更加精细,纹理色彩更加丰富。

混元3D 2.0采用两阶段生成,首先采用生成无纹理的几何模型,再合成高分辨率的纹理贴图,有效分离了形状和纹理生成的复杂性,下面是混元3D 2.0的两个核心组件:

  1. 几何生成模型(Hunyuan3D-DiT):基于流扩散的Transformer架构,生成无纹理的几何模型,可精准匹配输入条件。
  2. 纹理生成模型(Hunyuan3D-Paint):结合几何条件和多视图扩散技术,为模型添加高分辨率纹理,支持PBR材质。

主要优势

  • 高精度生成:几何结构锐利,纹理色彩丰富,支持PBR材质生成,实现接近真实的光影效果。
  • 多样化使用方式:提供代码调用、Blender插件、Gradio应用及官网在线体验,适合不同用户需求。
  • 轻量化与兼容性:Hunyuan3D-2mini模型仅需5GB显存,标准版本形状生成需6GB显存,完整流程(形状+纹理)仅需12GB显存。

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

 

Comfyui的安装目录:

想要本地体验 Hunyuan3D-2,需要安装对应的插件,在 ComfyUI 管理器中搜索:ComfyUI-Hunyuan3DWrapper,进行安装。已经安装的小伙伴需要更新到最新版本。

• ComfyUI-Hunyuan3DWrapper插件:https://github.com/kijai/ComfyUI-Hunyuan3DWrapper

• hunyuan3d-dit-v2-0-fp16.safetensors:下载模型并放置 /ComfyUI/models/unet目录。

• hunyuan3d-v2模型:还需下载hunyuan3d-delight-v2-0、hunyuan3d-paint-v2-0模型并放置 /ComfyUI/models/diffusers目录。

在本示例中包含三个工作流:

  • 使用 Hunyuan3D-2mv 配合多个视图输入生成3D模型
  • 使用 Hunyuan3D-2mv-turbo 配合多个视图输入生成3D模型
  • 使用 Hunyuan3D-2 配合单个视图输入生成3D模型

目前 ComfyUI 已原生支持 Hunyuan3D-2mv,暂未支持纹理和材质的生成,请在开始之前确保你已升级到最新版本的 ComfyUI

本示例中工作流部分的输入图片示例 png 格式的图片的 Metadata 中包含工作流 json 的图片

  • 直接拖入 ComfyUI
  • 使用菜单 Workflows -> Open(ctrl+o)

可以加载对应的工作流并提示完成模型下载,对应的 .glb 格式模型将输出至 ComfyUI/output/mesh 文件夹。

ComfyUI Hunyuan3D-2mv 工作流示例

Hunyuan3D-2mv 工作流中,我们将使用多视角的图片来生成3D模型,另外多个视角的图片在这个工作流中并不是必须的,你可以只输入 front 视角的图片来生成3D模型。

1. 工作流

请下载下面的图片,并拖入 ComfyUI 以加载工作流,

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

下载下面的图片,同时我们将使用这些图片作为图片输入

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程
ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

在本示例中提供的输入图片都已经过提前处理去除了多余的背景,在实际的使用中,你可以借助类似ComfyUI_essentials 这样的自定义来完成多余背景的自动去除。

2. 手动安装模型

下载下面的模型,并保存到对应的 ComfyUI 文件夹

  • hunyuan3d-dit-v2-mv: model.fp16.safetensors 下载后可重命名为 hunyuan3d-dit-v2-mv.safetensors
ComfyUI/
├── models/
│   ├── checkpoints/
│   │   └── hunyuan3d-dit-v2-mv.safetensors  // 重命名后的文件

3. 按步骤运行工作流

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

  1. 确保 Image Only Checkpoint Loader(img2vid model) 加载了我们下载并重命名的 hunyuan3d-dit-v2-mv.safetensors 模型
  2. 在 Load Image 节点的各个视角中加载了对应视角的图片
  3. 点击 Queue 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来运行工作流

如果你需要增加更多的视角,请确保 Hunyuan3Dv2ConditioningMultiView 节点中加载了其它视角的图片,并确保在 Load Image 节点中加载了对应视角的图片。

使用 Hunyuan3D-2mv-turbo 工作流

Hunyuan3D-2mv-turbo 工作流中,我们将使用 Hunyuan3D-2mv-turbo 模型来生成3D模型,这个模型是 Hunyuan3D-2mv 的分步蒸馏(Step Distillation)版本,可以更快地生成3D模型,在这个版本的工作流中我们设置 cfg 为 1.0 并添加 flux guidance 节点来控制 distilled cfg 的生成。

1. 工作流

请下载下面的图片,并拖入 ComfyUI 以加载工作流,

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

我们将使用下面的图片作为多视角的输入

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程
ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

2. 手动安装模型

下载下面的模型,并保存到对应的 ComfyUI 文件夹

  • hunyuan3d-dit-v2-mv-turbo: model.fp16.safetensors 下载后可重命名为 hunyuan3d-dit-v2-mv-turbo.safetensors
ComfyUI/
├── models/
│   ├── checkpoints/
│   │   └── hunyuan3d-dit-v2-mv-turbo.safetensors  // 重命名后的文件

3. 按步骤运行工作流

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

  1. 确保 Image Only Checkpoint Loader(img2vid model) 节点加载了我们重命名后的 hunyuan3d-dit-v2-mv-turbo.safetensors 模型
  2. 在 Load Image 节点的各个视角中加载了对应视角的图片
  3. 点击 Queue 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来运行工作流

使用 Hunyuan3D-2 单视图工作流

Hunyuan3D-2 工作流中,我们将使用 Hunyuan3D-2 模型来生成3D模型,这个模型不是一个多视角的模型,在这个工作流中,我们使用Hunyuan3Dv2Conditioning 节点替换掉 Hunyuan3Dv2ConditioningMultiView 节点。

1. 工作流

请下载下面的图片,并拖入 ComfyUI 以加载工作流

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

同时我们将使用这张图片作为图片输入

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

2. 手动安装模型

下载下面的模型,并保存到对应的 ComfyUI 文件夹

  • hunyuan3d-dit-v2-0: model.fp16.safetensors 下载后可重命名为 hunyuan3d-dit-v2.safetensors
ComfyUI/
├── models/
│   ├── checkpoints/
│   │   └── hunyuan3d-dit-v2.safetensors  // 重命名后的文件

3. 按步骤运行工作流

ComfyUI腾讯混元3D生成大模型2.0全面开源 Hunyuan3D-2 教程

  1. 确保 Image Only Checkpoint Loader(img2vid model) 节点加载了我们重命名后的 hunyuan3d-dit-v2.safetensors 模型
  2. 在 Load Image 节点中加载了对应视角的图片
  3. 点击 Queue 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来运行工作流
温馨提示:本站提供的一切软件、教程和内容信息都来自网络收集整理,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,版权争议与本站无关。用户必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!

给TA打赏
共{{data.count}}人
人已打赏
进阶教程

ComfyUI Pose ControlNet 使用示例

2025-4-7 23:28:34

进阶教程

ComfyUI Flux.1 ControlNet 示例

2025-4-7 23:55:22

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索