Kreuzvalidierung

Kreuzvalidierung ist eine statistische Technik zur Bewertung der Leistung von Machine-Learning-Modellen, bei der Daten in komplementäre Teilmengen für Training und Test über mehrere Durchläufe hinweg aufgeteilt werden. Bei der k-fachen Kreuzvalidierung werden die Daten in k gleich große Teilmengen (Folds) unterteilt, und das Modell wird k-mal trainiert, wobei jeweils eine andere Teilmenge als Validierungsmenge und die übrigen Teilmengen als Trainingsdaten dienen. Die Ergebnisse werden über alle Teilmengen gemittelt, was eine robustere Schätzung der Modellleistung liefert als eine einzelne Trainings-Test-Aufteilung. Dies verringert die Varianz der Bewertung und gibt einen besseren Hinweis darauf, wie das Modell bei ungesehenen Daten abschneiden wird.

Die standardmäßige zufällige Kreuzvalidierung kann bei geospatialen Daten zu übermäßig optimistischen Leistungsschätzungen führen, da räumliche Autokorrelation vorliegt, das heißt, nahegelegene Standorte weisen ähnliche Eigenschaften auf. Enthalten Trainings- und Validierungsmengen benachbarte Pixel, kann das Modell hohe Validierungswerte erzielen, indem es die räumliche Nähe ausnutzt, statt tatsächlich generalisierbare Merkmale zu erlernen. Räumliche Kreuzvalidierung begegnet diesem Problem, indem sie eine geografische Trennung zwischen Trainings- und Validierungsmengen sicherstellt. Die räumliche Block-Kreuzvalidierung unterteilt das Untersuchungsgebiet in räumliche Blöcke, die unterschiedlichen Teilmengen zugewiesen werden. Die Leave-Location-Out-Kreuzvalidierung verwendet ganze Regionen als zurückgehaltene Testmengen. Diese räumlichen Strategien liefern realistische Schätzungen dazu, wie Modelle abschneiden werden, wenn sie auf neue geografische Gebiete angewendet werden.

Kreuzvalidierung unterstützt zentrale Entscheidungen bei der Modellentwicklung, darunter die Auswahl von Algorithmen, das Hyperparameter-Tuning und die Bewertung der Merkmalsbedeutung. Die stratifizierte Kreuzvalidierung stellt sicher, dass jede Teilmenge dieselbe Klassenverteilung aufweist wie der gesamte Datensatz, was bei unausgewogenen geospatialen Klassifikationsaufgaben wichtig ist. Die zeitliche Kreuzvalidierung, bei der die Teilmengen die zeitliche Reihenfolge berücksichtigen, ist für Veränderungserkennung und Zeitreihenprognosemodelle bedeutsam. Der Rechenaufwand der Kreuzvalidierung entspricht dem k-fachen einer einzelnen Modellbewertung, was gegen den Nutzen verlässlicher Leistungsschätzungen abgewogen werden muss.