Teil B · Architekturen · Lektion 10
Transformer und Attention
Geprüft am 20.11.2026
Transformer verarbeiten alle Wörter gleichzeitig und lernen über Attention, welche Wörter füreinander wichtig sind – die Grundlage heutiger Sprachmodelle.
Der vollständige Inhalt dieses Kapitels ist Teil des Kurses Bachelor Professional KI.
Mit Animationen, Rechenwegen, Übungen mit KI-Korrektur und Quiz. Einmalig 99 € für 3 Jahre Zugriff – Modul 1 ist kostenlos.
Häufige Fragen zu „Transformer und Attention“
Was ist ein Transformer?
Eine Netzarchitektur, die mit Self-Attention für jedes Element einer Folge berechnet, wie stark es auf alle anderen achten soll, und alle Positionen parallel verarbeitet. Sie ist die Grundlage heutiger Sprachmodelle.
Was ist Self-Attention?
Ein Mechanismus, bei dem jedes Token Gewichte für alle anderen Tokens berechnet und deren Information entsprechend gewichtet einsammelt, zum Beispiel um zu erkennen, worauf sich ein Pronomen bezieht.