CNN vs. Transformer : Contexte global et NVIDIA DLSS

CNN vs. Transformer : La différence clé dans le traitement d'images par IA

L'intelligence artificielle a révolutionné la façon dont les ordinateurs comprennent les images. Deux des architectures les plus importantes sont les réseaux de neurones convolutifs (CNN) et les Transformers. Alors que les CNN ont été la norme en vision par ordinateur pendant des années, les Transformers gagnent du terrain – y compris dans la technologie DLSS de NVIDIA. Cet article explique les différences fondamentales et pourquoi les Transformers offrent un contexte global supérieur.

CNN : La perspective locale

Les réseaux de neurones convolutifs (CNN) utilisent des filtres (noyaux) qui glissent sur l'image comme une loupe. Ils analysent uniquement de petites régions de pixels voisins. Dans les premières couches, ils détectent des caractéristiques simples comme des bords ou des textures. Ce n'est qu'à travers de nombreuses couches empilées qu'ils peuvent assembler des objets plus complexes. L'inconvénient : les CNN ont du mal à capturer les relations entre des régions éloignées de l'image. Un objet en haut à gauche et un autre en bas à droite ne sont pas directement liés, sauf si le réseau est très profond. Cette vision locale limite la compréhension contextuelle.

Transformers : Le contexte global

Les Transformers, développés à l'origine pour le traitement du langage naturel, ont changé le paradigme. Au lieu de scanner l'image pixel par pixel, ils la divisent en petits patches (par exemple 16×16 pixels) et les traitent comme des mots dans une phrase. Le mécanisme clé est l'auto-attention (self-attention). Chaque patch est comparé à tous les autres patches de l'image entière. Le modèle calcule un score d'attention pour chaque paire, indiquant la pertinence. Ainsi, un patch en haut à gauche peut recevoir directement des informations d'un patch en bas à droite – indépendamment de la distance spatiale. Cela crée une compréhension globale de l'image.

Pourquoi les Transformers ont un meilleur contexte

L'avantage crucial des Transformers réside dans leur capacité à pondérer chaque élément dans le contexte de tous les autres. Dans les CNN, la pondération est déterminée par les voisinages locaux. Dans les Transformers, chaque mot (ou patch) est représenté comme une somme pondérée de tous les autres. Cela signifie : lorsque le modèle doit reconstruire un détail, il sait exactement quelles autres parties de l'image sont pertinentes. Cette pondération contextuelle conduit à une représentation plus cohérente et détaillée. Surtout dans des tâches comme la super-résolution ou le débruitage, cet avantage devient évident.

Comparaison CNN vs. Transformer

NVIDIA DLSS : Le passage du CNN au Transformer

NVIDIA a développé le Deep Learning Super Sampling (DLSS) pour rendre les jeux à une résolution inférieure et les upscaler à l'aide de l'IA. Les premières versions (DLSS 1, 2 et 3) étaient basées sur des CNN. Elles analysaient des clusters de pixels locaux pour estimer les détails manquants. Avec le temps, les CNN ont atteint leurs limites : des artefacts comme le ghosting (traînées derrière les objets en mouvement) et le scintillement sont apparus, car la cohérence temporelle entre les images n'était pas bien maintenue.

Avec DLSS 4, NVIDIA a introduit un modèle basé sur Transformer. Celui-ci considère non seulement l'image actuelle, mais aussi les relations entre les images consécutives de manière globale. L'auto-attention permet de maintenir le mouvement et les textures de manière cohérente dans le temps. Le résultat : des images plus nettes, moins d'artefacts et une stabilité nettement améliorée lors des mouvements rapides de la caméra. Bien que les Transformers soient plus exigeants en calcul, NVIDIA a optimisé l'architecture (par exemple, en réduisant l'utilisation de la VRAM) pour que l'impact sur les performances soit minimal. Ce changement montre à quel point le contexte global est important pour la qualité d'image.

Conclusion

Les CNN et les Transformers diffèrent fondamentalement dans leur approche : les CNN se concentrent sur les motifs locaux, les Transformers sur les relations globales. L'auto-attention des Transformers permet une pondération contextuelle de tous les éléments de l'image, ce qui conduit à une qualité d'image supérieure. NVIDIA a reconnu cet avantage et utilise désormais des Transformers pour le DLSS dans les jeux. Cette tendance se poursuivra à mesure que la demande de graphismes réalistes et fluides augmente. Pour les développeurs et les utilisateurs, cela signifie : les Transformers ne sont pas seulement pour le langage, mais aussi pour les images – ils sont l'avenir.