教程目录
第三章 操作界面设置与使用
第六章 Lora
第七章 ControlNet
第八章 关键字/提示词/魔法咒语
第九章 应用与实战
第十章 应用变现
FLUX.1模型使用安装及注意事项
2024-11-04 14:40:11 121 人
章节介绍:Flux 号称是迄今为止最大的 SOTA 开源文本转图像模型,由Black Forest Labs(黑森林实验室,Stable Diffusion 的原始核心团队)开发,现已在Fal上发布,获得众多AI开发者好评。 Flux 凭借令人印象深刻的12B参数突破了创造力和性能的界限,其效果呈现出让人联想到Midjourney 的美感。FLUX 代表了图像合成技术在快速理解、对象识别、词汇、写作能力等方面的显著进步, 标志着 AI 生成艺术领域的重大进步。

Flux 号称是迄今为止最大的 SOTA 开源文本转图像模型,由Black Forest Labs(黑森林实验室,Stable Diffusion 的原始核心团队)开发,现已在Fal上发布,获得众多AI开发者好评。


Flux 凭借令人印象深刻的12B参数突破了创造力和性能的界限,其效果呈现出让人联想到Midjourney 的美感。FLUX 代表了图像合成技术在快速理解、对象识别、词汇、写作能力等方面的显著进步, 标志着 AI 生成艺术领域的重大进步。



FLUX.1 有何特别之处?

FLUX.1 采用了类似 Stable Diffusion 3 的架构,并新引入了 DoubleStreamBlock 结构,生成质量超越了 Stable Diffusion 3,甚至不逊色于闭源的 Midjourney V6。

与多数依赖扩散的文本到图像模型不同,FLUX.1 运用了名为“流匹配”的升级技术。扩散模型从随机起点逐步消除噪声来创建图像,而流匹配则采用更直接的方式,学习将噪声精确变换为真实图像所需的操作。这种方法差异造就了独特美感,在速度和控制方面独具优势。

FLUX.1 模型在快速响应、视觉质量、图像细节及输出多样性上表现卓越。它能高精度处理文本,忠实遵循复杂的场景构图指令,生成手部也比以往模型更准确。

FLUX.1 重新定义了 AI 生成艺术的可能性,其显著特点如下:

(1)卓越的文本理解能力:能够轻松应对复杂的单词和重复字母。

(2)先进的人体解剖学与照片真实感:生成高度逼真且符合解剖学的图像。

(3)出色的复杂构图能力:善于解读和执行对象放置及场景构图的详细说明,能依据精心设计的提示准确生成场景。

(4)逼真的手部生成:以往生成逼真的手是AI绘图模型的难题,FLUX 在此取得重大突破,能生成手指数量和位置较准确的手,虽非尽善尽美,但相比以往模型有显著进步。

(5)高效性:dev 和 schnell 版本在保证与专业版相似质量的同时,体积更小、速度更快,利于加快迭代和实验。

(6)丰富的多样性:能够创造从照片写实到绘画再到插图等多种艺术风格,为艺术表达拓展新途径。


一、FLUX官网


000.jpg

官网地址:blackforestlabs.ai


二、FLUX.1模型版本介绍


000.jpg


我们发布了 FLUX.1 文本到图像模型套件,为文本到图像合成定义了图像细节、及时遵守、风格多样性和场景复杂性的全新最先进水平。 

为了在可访问性和模型功能之间取得平衡,FLUX.1 有三种版本:FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]: 


FLUX.1 [pro]:FLUX.1 的最佳功能,提供最先进的性能图像生成,具有顶级的即时跟踪、视觉质量、图像细节和输出多样性。在此处通过我们的API注册以访问 FLUX.1 [pro]。FLUX.1 [pro] 也可通过Replicate和fal.ai获得。此外,我们还提供专用和定制的企业解决方案 - 通过flux@blackforestlabs.ai与我们联系。【pro这个是用API访问的


FLUX.1 [dev]:FLUX.1 [dev] 是一种开放权重、指导提炼的模型,适用于非商业应用。FLUX.1 [dev] 直接从 FLUX.1 [pro] 提炼而来,具有相似的质量和及时遵守能力,同时比同等大小的标准模型更高效。FLUX.1 [dev] 权重可在HuggingFace上使用,并可直接在Replicate或Fal.ai上试用。pro这个是我们主要用的版本

 

FLUX.1 [schnell]:我们最快的模型是为本地开发和个人使用量身定制的。FLUX.1 [schnell] 在 Apache2.0 许可下公开可用。类似地,FLUX.1 [dev],权重可在 Hugging Face 上使用,推理代码可在GitHub和HuggingFace 的 Diffusers中找到。此外,我们很高兴在第一天就与ComfyUI集成。不推荐使用


000.jpg


三、FLUX-DEV下载与安装

模型的安装主要是针对DEV版本的安装。


模型名称版本特征下载地址文件大小文件名称存放目录
FP16大模型+VAE官方原版-DVE效果好,速度较慢,对配置要求最高,显存16G以上,内存64G以上,特别费显卡https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

23.8 GB

335MB

flux1-dev.safetensors

ae.safetensors

大模型存放位置:ComfyUI\models\unet。

VAE模型存放位置:ComfyUI\models\vae

FP16大模型官方原版-SCHNELL同上https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main同上同上同上
FP8大模型
Kijie-DVE
效果好,速度快,显存8G以上,内存16/32G,使用最多,看着有点复杂
https://huggingface.co/kijai/flux-fp8/tree/main11.9G
flux1-dev-fp8.safetensorsFP8模型存放位置:ComfyUI\models\unet
FP8大模型Kijie-SCHNELL同上同上同上

FP8大模型Org版-DVE整合版效果好、速度快、显存8G以上,内存32G,与Kijie几乎一致,但可用简化采样器节点,看着清爽。强烈推荐使用https://huggingface.co/Comfy-Org/flux1-dev/tree/main17.2Gflux1-schnell-fp8.safetensorsFP8大模型(comfy-org)存放位置:ComfyUI\models\checkpoints
FP8大模型Org版-SCHNELL整合版
https://huggingface.co/Comfy-Org/flux1-schnell/tree/main同上同上同上

以上模型根据您的机器配置选择适合自己的模型使用。在安装完成后。还要下载安装CLIP模型进行配合使用。下载及配置方法如下:


四、FLUX.1-DVE 的CLIP模型安装


下载地址:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main


000.jpg

CLIP 模型存放位置:ComfyUI\models\clip