Modul 4: Evaluierung und Clustering

Ein Modell ist erst dann nützlich, wenn man weiß, wie gut es auf neuen Daten ist – und ob diese Güte für das Geschäft reicht. In diesem Modul lernen Sie die wichtigsten Kennzahlen für Klassifikation und Regression, erkennen Über- und Unteranpassung, wählen Validierungsverfahren und Hyperparameter und übersetzen Modellgüte in Euro. Im dritten Teil finden Sie mit k-Means, hierarchischem Clustering und DBSCAN Gruppen in Daten ohne Labels und verdichten viele Merkmale mit PCA.

Einleitung und häufige Fragen jedes Kapitels sind frei lesbar. Den vollständigen Inhalt mit Übungen und Quiz schalten Sie einmalig für 99 € frei.

Freischalten
  1. EinführungEvaluierung und Clustering: Modelle ehrlich bewerten, Gruppen ohne Labels finden Ein Modell ist erst dann nützlich, wenn man weiß, wie gut es auf neuen Daten ist – und ob diese Güte für das Geschäft reicht. In diesem Modul lernen Sie die wichtigsten Kennzahlen für Klassifikation und Regression, erkennen Über- und Unteranpassung, wählen Validierungsverfahren und Hyperparameter und übersetzen Modell
  2. ÜbungenRechnen Sie mit Taschenrechner und tragen Sie die Ergebnisse ein. Der Konfusionsmatrix-Rechner in Lektion 2 hilft bei der Kontrolle.
  3. Abschlussquiz20 Fragen im Stil der schriftlichen Prüfung, jeweils eine richtige Antwort. Ab 14 richtigen Antworten (70 %) sind Sie gut vorbereitet. Auswerten Neu beginnen
  4. ZusammenfassungKonfusionsmatrix TP, FP, FN, TN – erst „richtig/falsch“, dann „positiv/negativ“. Precision / Recall Qualität der Alarme / Vollständigkeit der Treffer; F1 verbindet beide. ROC und AUC alle Schwellen auf einmal; 0,5 Zufall, 1 perfekt. Unausgewogene Klassen Accuracy täuscht; Recall, Precision, Kosten zeigen. Regression MAE, RMSE, R², MAPE. Generalisierung Underfitting = Bias, Overfitting = Varianz; L

Teil A · Modelle bewerten

  1. Lektion 1: KonfusionsmatrixErstes Wort = ob die Vorhersage stimmt (richtig/falsch), zweites Wort = was vorhergesagt wurde (positiv/negativ).
  2. Lektion 2: Accuracy, Precision, Recall, F1Precision fragt nach der Qualität der Alarme, Recall nach der Vollständigkeit der Treffer. Welche wichtiger ist, entscheiden die Kosten der Fehler.
  3. Lektion 3: ROC-Kurve und AUCDie ROC-Kurve zeigt alle Schwellen auf einmal; die AUC fasst sie in einer Zahl zusammen. Die Schwelle für den Betrieb wählt man danach nach Kosten.
  4. Lektion 4: Unausgewogene KlassenBei seltenen Ereignissen nie nur die Accuracy nennen – erst Recall und Precision zeigen, ob das Modell die wichtigen Fälle findet.
  5. Lektion 5: RegressionsmetrikenMAE ist leicht zu erklären, RMSE bestraft Ausreißer, R² zeigt den erklärten Anteil, MAPE spricht in Prozent.

Teil B · Gut verallgemeinern

  1. Lektion 6: Overfitting und UnderfittingGesucht ist die Komplexität, bei der der Fehler auf neuen Daten am kleinsten ist – nicht auf den Trainingsdaten.
  2. Lektion 7: LernkurvenDie Lücke zwischen Trainings- und Validierungskurve zeigt Overfitting; beide hoch zeigen Underfitting.
  3. Lektion 8: KreuzvalidierungKreuzvalidierung macht die Bewertung stabiler, weil jedes Beispiel einmal geprüft wird – bei Zeitreihen nur vorwärts in der Zeit.
  4. Lektion 9: Hyperparameter-TuningHyperparameter werden auf Validierungsdaten gesucht und auf Testdaten nur noch bestätigt.
  5. Lektion 10: RegularisierungRegularisierung bestraft Komplexität: L2 schrumpft alle Gewichte, L1 wirft unwichtige Merkmale ganz hinaus.
  6. Lektion 11: Baseline und GeschäftskennzahlenErst die Baseline, dann das Modell – und bewertet wird in der Währung des Betriebs: Euro, Zeit, Qualität.

Teil C · Clustering und Dimensionsreduktion

  1. Lektion 12: k-Meansk-Means: zuordnen zum nächsten Zentrum, Zentrum in die Mitte verschieben, wiederholen.
  2. Lektion 13: Anzahl der Cluster wählenElbow: Wo bringt ein zusätzlicher Cluster kaum noch Verbesserung? Silhouette: Wie gut passt jeder Punkt in seinen Cluster?
  3. Lektion 14: Hierarchisches ClusteringHierarchisches Clustering baut einen Baum ähnlicher Gruppen; die Clusterzahl entsteht durch einen Schnitt im Dendrogramm.
  4. Lektion 15: DBSCAN und AnomalieerkennungDBSCAN findet dichte Gruppen jeder Form, braucht kein k und markiert Ausreißer als Rauschen.
  5. Lektion 16: Dimensionsreduktion mit PCAPCA ersetzt viele korrelierte Merkmale durch wenige neue Achsen, die möglichst viel Streuung erhalten.