Flux 号称是迄今为止最大的 SOTA 开源文本转图像模型,由Black Forest Labs(黑森林实验室,Stable Diffusion 的原始核心团队)开发,现已在Fal上发布,获得众多AI开发者好评。
Flux 凭借令人印象深刻的12B参数突破了创造力和性能的界限,其效果呈现出让人联想到Midjourney 的美感。FLUX 代表了图像合成技术在快速理解、对象识别、词汇、写作能力等方面的显著进步, 标志着 AI 生成艺术领域的重大进步。
FLUX.1 有何特别之处?
FLUX.1 采用了类似 Stable Diffusion 3 的架构,并新引入了 DoubleStreamBlock 结构,生成质量超越了 Stable Diffusion 3,甚至不逊色于闭源的 Midjourney V6。
与多数依赖扩散的文本到图像模型不同,FLUX.1 运用了名为“流匹配”的升级技术。扩散模型从随机起点逐步消除噪声来创建图像,而流匹配则采用更直接的方式,学习将噪声精确变换为真实图像所需的操作。这种方法差异造就了独特美感,在速度和控制方面独具优势。
FLUX.1 模型在快速响应、视觉质量、图像细节及输出多样性上表现卓越。它能高精度处理文本,忠实遵循复杂的场景构图指令,生成手部也比以往模型更准确。
FLUX.1 重新定义了 AI 生成艺术的可能性,其显著特点如下:
(1)卓越的文本理解能力:能够轻松应对复杂的单词和重复字母。
(2)先进的人体解剖学与照片真实感:生成高度逼真且符合解剖学的图像。
(3)出色的复杂构图能力:善于解读和执行对象放置及场景构图的详细说明,能依据精心设计的提示准确生成场景。
(4)逼真的手部生成:以往生成逼真的手是AI绘图模型的难题,FLUX 在此取得重大突破,能生成手指数量和位置较准确的手,虽非尽善尽美,但相比以往模型有显著进步。
(5)高效性:dev 和 schnell 版本在保证与专业版相似质量的同时,体积更小、速度更快,利于加快迭代和实验。
(6)丰富的多样性:能够创造从照片写实到绘画再到插图等多种艺术风格,为艺术表达拓展新途径。
一、FLUX官网
官网地址:blackforestlabs.ai
二、FLUX.1模型版本介绍
我们发布了 FLUX.1 文本到图像模型套件,为文本到图像合成定义了图像细节、及时遵守、风格多样性和场景复杂性的全新最先进水平。
为了在可访问性和模型功能之间取得平衡,FLUX.1 有三种版本:FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]:
FLUX.1 [pro]:FLUX.1 的最佳功能,提供最先进的性能图像生成,具有顶级的即时跟踪、视觉质量、图像细节和输出多样性。在此处通过我们的API注册以访问 FLUX.1 [pro]。FLUX.1 [pro] 也可通过Replicate和fal.ai获得。此外,我们还提供专用和定制的企业解决方案 - 通过flux@blackforestlabs.ai与我们联系。【pro这个是用API访问的】
FLUX.1 [dev]:FLUX.1 [dev] 是一种开放权重、指导提炼的模型,适用于非商业应用。FLUX.1 [dev] 直接从 FLUX.1 [pro] 提炼而来,具有相似的质量和及时遵守能力,同时比同等大小的标准模型更高效。FLUX.1 [dev] 权重可在HuggingFace上使用,并可直接在Replicate或Fal.ai上试用。【pro这个是我们主要用的版本】
FLUX.1 [schnell]:我们最快的模型是为本地开发和个人使用量身定制的。FLUX.1 [schnell] 在 Apache2.0 许可下公开可用。类似地,FLUX.1 [dev],权重可在 Hugging Face 上使用,推理代码可在GitHub和HuggingFace 的 Diffusers中找到。此外,我们很高兴在第一天就与ComfyUI集成。【不推荐使用】
三、FLUX-DEV下载与安装
模型的安装主要是针对DEV版本的安装。
模型名称 | 版本 | 特征 | 下载地址 | 文件大小 | 文件名称 | 存放目录 |
---|
FP16大模型+VAE | 官方原版-DVE | 效果好,速度较慢,对配置要求最高,显存16G以上,内存64G以上,特别费显卡 | https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main | 23.8 GB 335MB | flux1-dev.safetensors ae.safetensors | 大模型存放位置:ComfyUI\models\unet。 VAE模型存放位置:ComfyUI\models\vae |
FP16大模型 | 官方原版-SCHNELL | 同上 | https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main | 同上 | 同上 | 同上 |
FP8大模型
| Kijie-DVE版
| 效果好,速度快,显存8G以上,内存16/32G,使用最多,看着有点复杂
| https://huggingface.co/kijai/flux-fp8/tree/main | 11.9G
| flux1-dev-fp8.safetensors | FP8模型存放位置:ComfyUI\models\unet |
FP8大模型 | Kijie-SCHNELL版 | 同上 | 同上 | 同上 |
|
|
FP8大模型 | Org版-DVE整合版 | 效果好、速度快、显存8G以上,内存32G,与Kijie几乎一致,但可用简化采样器节点,看着清爽。强烈推荐使用 | https://huggingface.co/Comfy-Org/flux1-dev/tree/main | 17.2G | flux1-schnell-fp8.safetensors | FP8大模型(comfy-org)存放位置:ComfyUI\models\checkpoints |
FP8大模型 | Org版-SCHNELL整合版 |
| https://huggingface.co/Comfy-Org/flux1-schnell/tree/main | 同上 | 同上 | 同上 |
以上模型根据您的机器配置选择适合自己的模型使用。在安装完成后。还要下载安装CLIP模型进行配合使用。下载及配置方法如下:
四、FLUX.1-DVE 的CLIP模型安装
下载地址:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
CLIP 模型存放位置:ComfyUI\models\clip