AI图像模型

1. 图像生成

1.1 生图流程

市面上文字生成图片基本上都基于 Diffusion 扩散模型，Stable Diffusion / Flux 都是，它最基本的原理是：根据文字指示，把一张随机生成的全是噪点的图片，一步步去掉噪点生成跟文字描述匹配的图片。

1. 从随机噪点图生成一张正常图片（Denoising UNet）。

Denoising UNet 模型在训练过程中记录了海量图片的内容，如果你用一万张不同的图片训练这个模型，那使用它生成出来的会是这一万张图片内容随机组合的一张图片。

2. VAE（Variational Autoencoders 变分自编码器）

   我们要对图片做降维（或者理解为压缩），把一张图片的数据量降低，再进行后续的训练和使用。

   VAE 能做到这些，VAE 提供了 encoder 和 decoder，一张图片经过 VAE encode，可以压缩成仅有 64x64x4 的矩阵，这里经过 encode 后的数据空间，就称为隐空间（Latent Space），在这个空间里进行上述扩散模型的训练和生成流程，成本就非常低，这也是目前Stable Diffusion能跑在我们普通电脑上的原因。

   最后在隐空间里生成的图片数据，经过 VAE decoder，就能转换成高清图。

3. CLIP

   SD 使用 OpenAI 训练的 CLIP 模型，把文本转为对应的向量，为什么用它，因为 CLIP 模型本身是一个文本到图片的映射模型，它对文本转出来的向量，更贴近图片的特征空间。

4. 采样器

   DDPM（Denoising Diffusion Probabilistic Models 去噪扩散概率模型），正常需要 1000 步降噪过程（称为采样），才能生成一张不错的图片，即使上述隐空间已经降低了计算量，但生成一张图要1000步，还是达不到大规模可用。

   DDIM（Denoising Diffusion Implicit Models 去噪扩散隐式模型），DDIM不是从头开始逐步去噪，而是选择几个关键的时间点，只在这些时间点上进行去噪操作，并且中间的步骤，比如从降噪100次的图片，下一步直接生成降噪90次的图片，跳10步，生成速度就快了10倍。

5. Stable Diffusion

   上面整个过程和概念，是一个个解决问题的方法，把它们组合起来，逐渐建立起基于扩散模型生成图片的方法大厦，Stable Diffusion 就在这些基础上做一些改进，建立一套稳定的框架、训练出基础模型，开源让所有人可以用。

   整个 SD 就是多种能力的组合，这些能力可以分别不断升级替换，模型本身还有很多方式去做更强的控制干预（ControlNet / LORA等），使得它可定制性可玩性很强，生态越来越繁荣。

1.2 ComfyUI

最左边的 Load Checkpoint 是加载 SD 模型，接着用 CLIP 模型编码文本 → 生成隐空间原始噪声图 → 采样器根据文本和噪声图输入→在隐空间里迭代降噪生成隐空间图片→最终用VAE解码图片。

早期的模型文件后缀是 .ckpt （checkpoint缩写），一个通过 Python 序列化后的数据，使用时需要对它反序列化，这个反序列化过程也就容易被注入恶意代码，所以后面提出了新型安全的格式 safetensors，只包含张量数据（模型上的参数数据），无需反序列化，安全且速度快，目前模型基本都以这种方式存储。

1.3 模型微调

2. TODO

• Lora
  • low 低秩
• CotrlNet
  • 相同姿势，控制边界
• IPAdpater
  • 风格化

3. 参考资料

• https://zhuanlan.zhihu.com/p/20431005369