Precision und Recall

Precision und Recall sind grundlegende Bewertungsmetriken für Klassifikationsmodelle, die komplementäre Perspektiven auf die Vorhersagequalität liefern. Precision (positiver Vorhersagewert) misst den Anteil der positiven Vorhersagen, die tatsächlich korrekt sind: Von allen Instanzen, die das Modell einer bestimmten Klasse zugeordnet hat, wie viele gehören tatsächlich zu dieser Klasse. Recall (Sensitivität oder True-Positive-Rate) misst den Anteil der tatsächlich positiven Instanzen, die korrekt erkannt wurden: Von allen Instanzen, die tatsächlich zu einer Klasse gehören, wie viele hat das Modell gefunden. Ein Modell mit hoher Precision, aber niedrigem Recall ist konservativ: Es macht wenige Fehler, übersieht jedoch viele echte Instanzen. Ein Modell mit hohem Recall, aber niedriger Precision findet die meisten echten Instanzen, erzeugt jedoch auch viele Fehlalarme.

Geodatenanwendungen stehen häufig vor wichtigen Abwägungen zwischen Precision und Recall, abhängig von den Konsequenzen unterschiedlicher Fehlertypen. Die Gebäudeerkennung für Schadensbewertungen priorisiert Recall, da das Übersehen eines beschädigten Gebäudes (falsch negativ) schwerwiegende humanitäre Folgen hat, selbst wenn einige Falscherkennungen eine zusätzliche Überprüfung erfordern. Auch die Entwaldungswarnung legt oft den Schwerpunkt auf Recall, um sicherzustellen, dass keine illegale Rodung unentdeckt bleibt. Umgekehrt priorisieren hochpräzise Kartierungsprodukte die Precision, um sicherzustellen, dass gemeldete Features tatsächlich existieren, wobei in Kauf genommen wird, dass einige reale Features übersehen werden. Modelle zur Immobilienbewertung benötigen eine ausgewogene Precision und Recall über verschiedene Preisspannen hinweg, um systematische Über- oder Unterbewertungen zu vermeiden.

Die Precision-Recall-Kurve stellt Precision gegen Recall bei unterschiedlichen Klassifikationsschwellenwerten dar und liefert so ein vollständiges Bild der Abwägung. Average Precision (AP) fasst die Kurve als eine einzelne Kennzahl zusammen und wird häufig zur Bewertung von Objekterkennungsmodellen verwendet. Bei der Mehrklassenklassifikation von Geodaten zeigen klassenspezifische Precision- und Recall-Werte, welche Landbedeckungstypen zuverlässig kartiert werden und welche zu Verwechslungen neigen. Makro-gemittelte Precision und Recall behandeln alle Klassen gleich, während mikro-gemittelte Metriken nach Klassenhäufigkeit gewichten.