如何用ComfyUI运行FLUX GGUF文件模型

FLUX.1 和 schnell 开源的文本到图像生成模型提供了卓越的质量，其性能与专有模型不相上下。

不过，运行这些新模型，尤其是FLUX.1 dev版本，需要16到24GB的VRAM来运行未压缩的完整模型——这对于很多人来说是不可轻易获得的。

进入已经量化的模型。

参考开源的大型语言模型，量化模型实际上是压缩过的全尺寸模型。压缩程度越大，所需VRAM就越少，但最终输出的质量会相应下降。

然而，这种质量要求使得该模型可以在较低配置的硬件上运行。

有许多不同的量化方法。如果你想了解更多详情，可以点击这里阅读Maarten Grootendorst写的一篇精彩的文章：点击这里阅读Maarten Grootendorst写的一篇精彩的文章。

之前的文本到图像生成模型，比如Stability的Stable Diffusion 1.5、SD2和SDXL，还不够复杂，无法达到需要使用量化模型的程度。

除了FLUX.1更大的模型之外，你还需要使用CLIP和T5-XXL编码器两个模型——后者也有量化版本的模型可以使用，以减少VRAM使用量。

在设置过程中，我们将一步步教你如何下载和放置模型文件的位置，以及如何在这里安装ComfyUI的自定义节点。

您也可以看看这个视频中的一步步演示。

友好的开发者 city96 在 HuggingFace 上慷慨地提供了 FLUX.1 dev 和 schnell 的量化版，这些量化版的位数范围从 2 到 16 位，而原版的 FLUX 模型是 32 位。

选择合适的位量化并不简单，因为它会根据你的具体机器而不同。然而，对于大多数人而言，4位或6位的模型（Q4或Q6）可以作为一个不错的起点。

在下载 .gguf 文件时，放在 ComfyUI/models/unet 目录下。

在T5-XXL编码器模型方面，你可以在这里找到它，作者建议“最好使用Q5_K_M或更高级的配置来获得最佳效果”。

将T5-XXL模型的量化版本放到ComfyUI/models/clip目录中。

在 ComfyUI 管理器里，你得安装 ComfyUI-GGUF 自定义节点。这样会把 UNet Loader GGUF 和 DualClip Loader GGUF 节点添加到你的 ComfyUI 实例里。

在 ComfyUI 中运行 FLUX.1 GGUF 文件非常简单。你只需按照以下步骤即可。

为了使用GGUF格式文件，我们将在工作流程的最开始添加UNet Loader GGUF和DualClip Loader GGUF节点：

请确保 DualClip Loader GGUF 包含 CLIP 和 T5-XXL (GGUF) 模型，并将 type 选项设置为 flux。虽然 FLUX 不支持负面提示，你还需要将 CLIP 的输出连接到两个 CLIP Text Encode (Prompt) 节点的 CLIP 输入端；否则，ComfyUI 将会抛出错误。

UNet Loader GGUF 节点将支持任何位于 ComfyUI/models/unet 目录下的 GGUF 文件。

注意：ae.safetensors 文件是由 Black Forest Labs 团队提供的变分自编码器。你可以在这里下载它，如果你还没有的话。

与之前的模型相比，FLUX的优势在于，它能非常出色地响应提示。

所以不要说 1block, 绿色，自然光，你可以描述得更具体一些，这样模型生成的结果会更贴近你的描述。在使用FLUX模型时，请务必这样做。

如前所述，负向提示保持空白。对于KSampler节点，你需要这样做设置：

• CFG: 1.0
• 采样器名: Euler
• 调度: 简易

最后，潜在空间大小可能有很大变化，支持的分辨率范围从0.1到2兆像素。

最终的工作流程会是这样的：

您也可以在那里找到在Prompting Pixels网站下载此工作流程的链接。

最后一步，点击 排队提示 并在 ComfyUI 中查看结果。对于这个提示：绿色金字塔积木旁边是红色圆圈积木，在积木后面是一张木椅 的 512x512 图像，FLUX 生成了这样的图像：

🔥 构图真是绝了！

这里只是简单说明一下，这张图片渲染耗时34秒，总共使用了7.6GB的VRAM（使用了FLUX Q2和T5-XXL Q3）。

运行上有什么疑问吗？

把它们写在下面的评论区👇

想了解更多关于扩散模型的内容吗？访问Prompting Pixels网站，网站上有详细的教程和视频。

这个故事发布在生成式AI上。请在LinkedIn上关注我们，并关注Zeniteq以了解最新的AI故事。

订阅我们的通讯和YouTube频道，以了解有关生成式AI的最新消息和更新。一起塑造AI的未来吧！