Transfer Learning

Transfer Learning ist eine Strategie des maschinellen Lernens, die Wissen aus der Lösung eines Problems nutzt und auf ein anderes, verwandtes Problem anwendet. Anstatt ein Modell von Grund auf zu trainieren, was riesige Mengen gelabelter Daten und Rechenressourcen erfordert, beginnt Transfer Learning mit einem vortrainierten Modell und passt es für eine bestimmte Aufgabe (Fine-Tuning) an. Dieser Ansatz ist zu einem Eckpfeiler des modernen Deep Learning geworden, insbesondere in Bereichen wie der Geodatenanalyse, in denen hochwertige gelabelte Datensätze oft begrenzt und teuer in der Erstellung sind.

Transfer Learning beruht auf dem Prinzip, dass Merkmale, die aus großen, allgemeinen Datensätzen gelernt wurden, oft auch auf spezifischere Aufgaben anwendbar sind. Im Deep Learning lernen die frühen Schichten neuronaler Netze allgemeine Merkmale wie Kanten, Texturen und Formen, während spätere Schichten aufgabenspezifische Merkmale erlernen. Indem die frühen Schichten eines vortrainierten Modells eingefroren werden und nur die späteren Schichten anhand eines neuen Datensatzes neu trainiert werden, behält das Modell sein allgemeines Wissen bei, während es sich an die neue Aufgabe anpasst. Zu den gängigen Strategien zählen die Merkmalsextraktion, bei der das vortrainierte Modell als fester Merkmalsextraktor dient, sowie das Fine-Tuning, bei dem einige oder alle Schichten anhand des Zieldatensatzes weiter trainiert werden. Die Domänenanpassung (Domain Adaptation) adressiert die Verschiebung zwischen Quell- und Zieldatenverteilungen, was besonders relevant ist, wenn Modelle, die auf natürlichen Bildern trainiert wurden, auf Satellitenbilder angewendet werden.

Transfer Learning ist in geospatialen Anwendungen aufgrund der chronischen Knappheit gelabelter Fernerkundungsdaten unverzichtbar geworden. Modelle, die auf ImageNet oder anderen großen Bilddatensätzen vortrainiert wurden, werden für die Klassifikation von Satellitenbildern feinabgestimmt und erzielen mit nur einigen Hundert gelabelten Beispielen statt Millionen eine starke Leistung. Die Landbedeckungsklassifikation profitiert von Transfer Learning, indem Modelle, die in einer geografischen Region trainiert wurden, an eine andere angepasst werden, wodurch der Bedarf an regionsspezifischen Trainingsdaten sinkt. Gebäudeerkennung, Straßenextraktion und die Kartierung von Feldfrüchten nutzen alle Transfer Learning, um die Modellentwicklung zu beschleunigen. Systeme zur Veränderungserkennung setzen Transfer Learning ein, um sich schnell an neue Sensoreigenschaften oder geografische Kontexte anzupassen.

Transfer Learning reduziert die Menge der benötigten gelabelten Trainingsdaten drastisch, was besonders in geospatialen Bereichen wertvoll ist, in denen die Annotation Expertenwissen erfordert. Die Trainingszeit sinkt erheblich, da das Modell von einer starken Ausgangsbasis statt von einer zufälligen Initialisierung ausgeht. Modelle erzielen durch Transfer Learning oft eine bessere Leistung als durch Training von Grund auf mit begrenzten Daten, da sie von den umfangreichen Merkmalsdarstellungen profitieren, die aus großen Datensätzen gelernt wurden. Der Ansatz demokratisiert zudem Deep Learning, indem er fortgeschrittene Modelle für Teams ohne massive Rechenressourcen zugänglich macht.

Die Wirksamkeit von Transfer Learning hängt von der Ähnlichkeit zwischen Quell- und Zieldomäne ab. Modelle, die auf bodennahen Fotografien vortrainiert wurden, lassen sich ohne sorgfältige Anpassung möglicherweise nicht gut auf Satellitenbilder aus der Vogelperspektive übertragen. Negativer Transfer kann auftreten, wenn Quell- und Zielaufgabe zu unterschiedlich sind, was die Leistung tatsächlich verschlechtert. Die optimale Anzahl der einzufrierenden gegenüber der feinabzustimmenden Schichten zu bestimmen, erfordert oft Experimente. Die Rechenkosten für das Fine-Tuning großer Foundation Models können weiterhin erheblich sein.

Foundation Models, die speziell auf Erdbeobachtungsdaten vortrainiert wurden, entwickeln sich zu leistungsfähigen Ausgangspunkten für geospatiale Aufgaben. Few-Shot- und Zero-Shot-Lerntechniken erweitern Transfer Learning, sodass es auch mit extrem wenigen gelabelten Beispielen funktioniert. Parametereffiziente Fine-Tuning-Methoden wie LoRA und Adapter ermöglichen die Anpassung riesiger Modelle mit minimalem Rechenaufwand. Selbstüberwachtes Vortraining (Self-Supervised Pretraining) auf ungelabelten Satellitenbildern schafft domänenspezifische Repräsentationen, die sich besser übertragen lassen als solche aus universell einsetzbaren Modellen.