扩散模型详解
扩散模型详解
如果你使用过Midjourney、DALL-E或Stable Diffusion等工具，你就已经体验过扩散模型了。这些是能够根据文本描述生成令人惊叹的图像的AI系统。它们的工作方式非常优雅，并且与语言模型的工作方式截然不同。
扩散的核心思想很简单：从纯随机噪声开始，然后逐渐去除噪声，以显现清晰的图像。想象一下，拍摄一张照片，然后慢慢添加噪点，直到它变得无法辨认。这就是前向过程。扩散模型学习逆转这个过程：从噪点开始，逐步去除噪声，直到清晰的图像出现。
训练扩散模型涉及获取干净的图像，添加已知量的噪声，并教模型预测添加的噪声。模型学习理解图像的结构，以至于它可以从完全随机的噪声开始，并将其转换为与文本描述匹配的连贯图像。
生成过程分步进行，通常根据所需质量分为20到100步。每一步，模型都会预测噪声较小的图像版本。这就是为什么生成图像比生成文本需要更长的时间。每一步都需要一次完整的模型推理，更多的步骤通常会产生更高质量的结果。
像Stable Diffusion这样的现代扩散模型添加了一个额外的组件，称为文本编码器，它将你的提示转换为模型可用于指导去噪过程的表示。这就是为什么你可以用文本控制生成的图像。模型学习将概念与视觉模式相关联，并能够以新颖的方式组合它们，以创建从未存在过的图像。