教程目录
第三章 操作界面设置与使用
第六章 Lora
第七章 ControlNet
第八章 关键字/提示词/魔法咒语
第九章 应用与实战
第十章 应用变现
第4节:CLIP文本编码器【CLIP Text Encode (Prompt)节点】
2024-11-29 18:44:06 351 人
章节介绍:CLIP文本编码器 是ComfyUI中一个用于处理文本输入的工具节点。它基于OpenAI开发的 CLIP(Contrastive Language–Image Pretraining) 模型,能够将自然语言转换为潜在空间(Latent Space)中的特征向量。这些向量与图像的特征表示在同一个空间中,可以用于图像生成、匹配或分类等任务。

一、什么是CLIP文本编码器?


CLIP文本编码器 是ComfyUI中一个用于处理文本输入的工具节点。它基于OpenAI开发的 CLIP(Contrastive Language–Image Pretraining) 模型,能够将自然语言转换为潜在空间(Latent Space)中的特征向量。这些向量与图像的特征表示在同一个空间中,可以用于图像生成、匹配或分类等任务。


在ComfyUI的工作流中,CLIP文本编码器通常用于为生成任务提供条件,如通过输入描述性文本来引导生成的图像风格或内容。


二、节点CLIP文本编码器说明


节点功能:该节点用来输入正反向提示词,也就是“文生图”,“文生视频”中“文”的输入位置。


001.jpg


输入:clip -> 接收用于对prompt进行编码的CLIP模型 

参数:文本输入框 -> 输入需要模型生成的文本信息 **正/反向提示词**

输出:

条件COMDITIONING -> 将文本信息通过CLIP模型编码,形成引导模型扩散的条件信息

注意:当前prompt仅支持英文的输入。


三、添加CLIP文本编码器方法


001.jpg


反向提示词输入区也可用同样的方式添加,即拖动【负面条件】的连接点。


002.jpg


不过这里我们演示复制粘贴的方式,选中【CLIP文本编码器】节点,Ctrl+C复制,然后Ctrl+V粘贴,再把两个颜色的节点连接起来即可:

或者是选中【CLIP文本编码器】节点,按住键盘的alt+鼠标左键拖动也可以复制一份节点,大家可自行尝试。



四、CLIP文本编码器的注意事项


语言描述的精准性:输入文本越具体,生成结果越贴近目标。例如,“a cat”与“a black and white cat sitting on a couch”会生成截然不同的图像。

支持多语言:虽然CLIP主要训练于英语数据,但也支持其他语言输入,效果可能因语言而异。

提示词优化:使用关键字(prompt engineering)优化文本输入,如加入“highly detailed”、“ultra realistic”等词增强图像质量。

与其他控制节点结合:配合 Negative Prompt 节点,可以排除不希望生成的内容。例如:正向提示:A futuristic cityscape at night.

负向提示:blurry, low quality, unrealistic.

生成速度与资源消耗:CLIP文本编码是图像生成的预处理步骤,不会显著增加计算负担,但文本输入过长可能稍微影响处理速度。