Confusion Matrix

Eine Confusion Matrix ist eine quadratische Tabelle, die eine detaillierte Aufschlüsselung der Vorhersagen eines Klassifikationsmodells im Vergleich zu den tatsächlichen Referenzdaten (Ground TruthGround TruthGround truth refers to data collected at the Earth's surface to validate and calibrate information derived from remot...) liefert. Jede Zeile repräsentiert die Instanzen einer tatsächlichen Klasse, während jede Spalte die Instanzen einer vorhergesagten Klasse darstellt. Die Diagonalelemente zeigen korrekte Vorhersagen (echte Positive für jede Klasse), während die Elemente außerhalb der Diagonale spezifische Arten von Fehlklassifikationen offenlegen. Bei einem binären Klassifikator repräsentieren die vier Zellen echte Positive, echte Negative, falsche Positive und falsche Negative. Mehrklassige Confusion Matrizen erweitern dieses Prinzip auf eine beliebige Anzahl von Kategorien.

Confusion Matrizen sind das Standardwerkzeug zur Genauigkeitsbewertung von Landbedeckungsklassifikationen, wie es von Kartierungsbehörden und Standards der Fernerkundung empfohlen wird. Sie zeigen nicht nur die Gesamtgenauigkeit, sondern auch präzise, welche Landbedeckungsklassen miteinander verwechselt werden. Eine Confusion Matrix kann beispielsweise zeigen, dass Laubwald und Mischwald häufig verwechselt werden, während Wasser- und Siedlungsflächen zuverlässig unterschieden werden. Diese klassenspezifische Erkenntnis leitet gezielte Verbesserungen, etwa das Hinzufügen von Trainingsdaten für verwechselte Klassen oder die Einbeziehung zusätzlicher Merkmale zu ihrer Unterscheidung. Die Produzentengenauigkeit (Recall, Trefferquote) und die Nutzergenauigkeit (Precision, Präzision) für jede Klasse werden direkt aus der Confusion Matrix abgeleitet, ebenso wie die Gesamtgenauigkeit und der Kappa-Koeffizient.

Aus einer Confusion Matrix werden zahlreiche Leistungskennzahlen berechnet. Die Gesamtgenauigkeit ist die Summe der Diagonalelemente geteilt durch die Gesamtzahl. Klassenspezifische Precision-, Recall- und F1-Werte liefern eine leistungsspezifische Bewertung je Klasse. Der Kappa-Koeffizient berücksichtigt zufällige Übereinstimmung und liefert damit ein strengeres Genauigkeitsmaß. Für geodatenbasierte Anwendungen werden Fehlermatrizen typischerweise durch flächengewichtete Schätzungen ergänzt, die die unterschiedlichen Anteile der Landbedeckungsklassen im Untersuchungsgebiet berücksichtigen und verhindern, dass dominante Klassen die Gesamtgenauigkeit künstlich erhöhen.