Diffusionsmodelle erklärt

Diffusionsmodelle erklärt

Wenn Sie Tools wie Midjourney, DALL-E oder Stable Diffusion verwendet haben, haben Sie Diffusionsmodelle erlebt. Dies sind die KI-Systeme, die atemberaubende Bilder aus Textbeschreibungen generieren können. Die Art und Weise, wie sie funktionieren, ist überraschend elegant und unterscheidet sich stark von der Funktionsweise von Sprachmodellen.

Die Kernidee der Diffusion ist einfach: Beginnen Sie mit reinem Zufallsrauschen und entfernen Sie dann schrittweise das Rauschen, um ein klares Bild zu enthüllen. Stellen Sie sich vor, Sie machen ein Foto und fügen nach und nach Rauschen hinzu, bis es unkenntlich wird. Das ist der Vorwärtsprozess. Diffusionsmodelle lernen, dies umzukehren: Ausgehend von Rauschen entfernen sie nach und nach das Rauschen, bis ein klares Bild entsteht.

Das Training eines Diffusionsmodells beinhaltet, saubere Bilder zu nehmen, bekannte Mengen an Rauschen hinzuzufügen und dem Modell beizubringen, vorherzusagen, welches Rauschen hinzugefügt wurde. Das Modell lernt die Struktur von Bildern so gut zu verstehen, dass es von völlig zufälligem Rauschen ausgehen und es in ein zusammenhängendes Bild verwandeln kann, das einer Textbeschreibung entspricht.

Der Generierungsprozess erfolgt in Schritten, typischerweise 20 bis 100 Schritte, je nach benötigter Qualität. Bei jedem Schritt sagt das Modell eine weniger verrauschte Version des Bildes voraus. Deshalb dauert das Generieren von Bildern länger als das Generieren von Text. Jeder Schritt erfordert einen vollständigen Durchlauf durch das Modell, und mehr Schritte führen im Allgemeinen zu Ergebnissen höherer Qualität.

Moderne Diffusionsmodelle wie Stable Diffusion fügen eine zusätzliche Komponente hinzu, einen sogenannten Textencoder, der Ihre Eingabeaufforderung in eine Darstellung umwandelt, die das Modell zur Steuerung des Entrauschungsprozesses verwenden kann. Deshalb können Sie das generierte Bild mit Text steuern. Das Modell lernt, Konzepte mit visuellen Mustern zu assoziieren und kann sie auf neuartige Weise kombinieren, um Bilder zu erstellen, die es noch nie gegeben hat.