Foundation Models für Earth Observation

Foundation Models für Earth Observation (EO) stellen einen Paradigmenwechsel dar, wie künstliche Intelligenz auf Satellitenbilder und Geodaten angewendet wird. Es handelt sich um groß angelegte neuronale Netze, die mithilfe von Self-Supervised-Learning-Verfahren auf enormen Mengen unbeschrifteter oder schwach beschrifteter Erdbeobachtungsdaten vortrainiert werden. Einmal trainiert, erzeugen sie reichhaltige, allgemein einsetzbare Repräsentationen der Erdoberfläche, die mit minimalem zusätzlichem Trainingsdatenaufwand für ein breites Spektrum spezifischer Aufgaben feinabgestimmt (Fine-Tuning) werden können. Dieser Ansatz spiegelt den Erfolg von Foundation Models in der natürlichen Sprachverarbeitung (Natural Language Processing, wie GPT und BERT) sowie im allgemeinen Computer VisionComputer VisionComputer Vision is a field of artificial intelligence that enables machines to interpret and understand visual inform... (wie CLIP und DINOv2) wider, angepasst an die besonderen Eigenschaften von Fernerkundungsdaten.

Foundation Models für EO werden typischerweise mit selbstüberwachten Lernzielen auf Millionen von Satellitenbild-Patches trainiert. Masked Image Modeling, bei dem Teile eines Bildes verborgen werden und das Modell lernt, sie zu rekonstruieren, bringt dem Netz bei, räumlichen Kontext und Oberflächenmerkmale zu verstehen. Contrastive LearningContrastive LearningContrastive Learning is a self-supervised technique that learns representations by comparing similar (positive) and d... trainiert Modelle darauf zu erkennen, dass unterschiedliche Ansichten oder Zeitpunkte desselben Standorts zusammengehören, wodurch ein zeitliches und multispektrales Verständnis aufgebaut wird. Anders als klassische Modelle, die auf dreikanaligen RGB-Bildern trainiert werden, verarbeiten EO-Foundation-Models häufig multispektrale oder hyperspektrale Daten mit Dutzenden Bändern und lernen dabei Zusammenhänge über das elektromagnetische Spektrum hinweg, die für herkömmliche Computer-Vision-Modelle unsichtbar bleiben. Die resultierenden vortrainierten Modelle kodieren ein tiefes Verständnis von Oberflächenmerkmalen der Erde, saisonalen Mustern und geografischem Kontext.

Foundation Models für EO dienen als leistungsstarke Ausgangspunkte für zahlreiche geobasierte Aufgaben. Die Klassifikation von Landnutzung und Landbedeckung erreicht bei Feinabstimmung ausgehend von Foundation Models Spitzenwerte an Genauigkeit mit deutlich weniger beschrifteten Trainingsdaten. Die Veränderungserkennung zwischen multitemporalen Bildern profitiert vom zeitlichen Verständnis, das während des Vortrainings kodiert wurde. Die Kartierung von Feldfrüchten und die Ertragsvorhersage nutzen das spektrale Wissen, das aus vielfältigen landwirtschaftlichen Regionen weltweit gelernt wurde. Gebäude- und Infrastrukturerkennung, Hochwasserkartierung, die Abgrenzung von Waldbrandflächen und die Überwachung von Entwaldung profitieren allesamt von den reichhaltigen räumlichen Merkmalen, die diese Modelle erlernt haben. Aufkommende Anwendungen umfassen die Bewertung von Biodiversität, die Schätzung von Kohlenstoffbeständen und die Analyse von Klimawandelfolgen.

Foundation Models reduzieren den Bedarf an beschrifteten Daten für geobasierte Aufgaben drastisch, was angesichts der hohen Kosten für die fachkundige Annotation von Satellitenbildern entscheidend ist. Sie übertragen Wissen über geografische Regionen hinweg, wodurch Modelle, die überwiegend mit Daten aus gut untersuchten Gebieten trainiert wurden, auch in unterrepräsentierten Regionen gute Leistungen erbringen. Der allgemeine Charakter von Foundation Models bedeutet, dass ein einziges vortrainiertes Modell Dutzende unterschiedliche Anwendungen unterstützen kann, wodurch der Bedarf entfällt, für jede Aufgabe spezialisierte Modelle zu trainieren. Das Vortraining erfasst subtile Muster in multispektralen Daten, die aufgabenspezifische Modelle aufgrund begrenzter Trainingsdaten möglicherweise übersehen würden.

Foundation Models für EO erfordern für das Vortraining enorme Rechenressourcen, wodurch ihre Entwicklung vor allem gut finanzierten Forschungseinrichtungen und Unternehmen zugänglich ist. Die Vielfalt und Qualität der Vortrainingsdaten beeinflusst die Modellleistung erheblich, und Verzerrungen in der geografischen Abdeckung können zu ungleichmäßiger Leistung über Regionen hinweg führen. Die Anpassung von Modellen, die für bestimmte Satellitensensoren entwickelt wurden, an andere Instrumente erfordert sorgfältigen Umgang mit Unterschieden in spektraler und räumlicher Auflösung. Die erhebliche Größe dieser Modelle kann den Einsatz in ressourcenbeschränkten Umgebungen erschweren.

Führende Organisationen wie NASA, ESA, IBM und Microsoft haben quelloffene EO-Foundation-Models veröffentlicht und damit die Verbreitung in der Community beschleunigt. Multimodale Foundation Models, die Satellitenbilder, SARSARSynthetic Aperture Radar (SAR) is an active remote sensing technology that uses microwave radar pulses to create high...-Daten, Klimaaufzeichnungen und Textbeschreibungen gemeinsam verarbeiten, entstehen zunehmend. Zeitliche Foundation Models, die Veränderungen über die Zeit explizit modellieren, gehen über die Analyse einzelner Bilder hinaus. Die Integration von Foundation Models in operative Erdbeobachtungs-Pipelines ermöglicht schnelle Reaktionsfähigkeiten für Katastrophenüberwachung und Umweltbewertung auf globaler Ebene.