Teil B · Architekturen · Lektion 10

Transformer und Attention

Geprüft am 20.11.2026

Transformer verarbeiten alle Wörter gleichzeitig und lernen über Attention, welche Wörter füreinander wichtig sind – die Grundlage heutiger Sprachmodelle.

Der vollständige Inhalt dieses Kapitels ist Teil des Kurses Bachelor Professional KI.

Mit Animationen, Rechenwegen, Übungen mit KI-Korrektur und Quiz. Einmalig 99 € für 3 Jahre Zugriff – Modul 1 ist kostenlos.

Häufige Fragen zu „Transformer und Attention“

Was ist ein Transformer?

Eine Netzarchitektur, die mit Self-Attention für jedes Element einer Folge berechnet, wie stark es auf alle anderen achten soll, und alle Positionen parallel verarbeitet. Sie ist die Grundlage heutiger Sprachmodelle.

Was ist Self-Attention?

Ein Mechanismus, bei dem jedes Token Gewichte für alle anderen Tokens berechnet und deren Information entsprechend gewichtet einsammelt, zum Beispiel um zu erkennen, worauf sich ein Pronomen bezieht.