Das Wichtigste in Kürze:
- Ein geospatiales Foundation Model wird auf riesigen Mengen unlabelter Satellitenbilder vortrainiert und erzeugt wiederverwendbare Repräsentationen (Embeddings), die sich für viele nachgelagerte Aufgaben günstig feinabstimmen lassen
- Nicht Bilder, sondern Labels sind der teure Engpass in der Erdbeobachtung; Foundation Models sind deshalb relevant, weil sie die Menge gelabelter Daten reduzieren, die für ein funktionierendes Modell nötig ist
- Embeddings sind komprimierte, numerische Zusammenfassungen dessen, was in einem Bild zu sehen ist; dichte, globale Embedding-Datensätze machen Ähnlichkeitssuche, stratifizierte Stichproben und die Erkennung von Veränderungskandidaten im kontinentalen Maßstab möglich
- TerraMind (IBM und ESA) und Major TOM (ESA Phi-lab und CloudFerro) sind die zwei substanziellsten offenen Initiativen mit veröffentlichten Benchmarks und Datensatzgröße; Prithvi (NASA und IBM) und Clay sind kleinere, aber nützliche offene Alternativen
- Benchmarks beschreiben die Aufgabe eines anderen, nicht Ihre eigene; Landnutzung, Lizenzpassung, Rechenbudget und Ihr eigener gelabelter Validierungsdatensatz entscheiden weiterhin, ob ein bestimmtes Modell für Sie funktioniert
Jedes Erdbeobachtungsteam stößt irgendwann auf dieselbe Wand: Es gibt mehr Satellitenbilder, als je jemand labeln könnte. Sentinel-2 allein liefert alle fünf Tage einen globalen Durchlauf. Knapp sind nicht die Pixel, knapp sind die Annotationen, die aus Pixeln einen Trainingsdatensatz für eine bestimmte Aufgabe machen. Geospatiale Foundation Models sind eine direkte Antwort auf dieses Ungleichgewicht. Dieser Leitfaden erklärt, was sie sind, warum das Argument der Label-Effizienz in der Praxis zählt, welche offenen Modelle heute tatsächlich verfügbar sind, und was Sie prüfen sollten, bevor Sie sich auf eines festlegen.
Was ist ein geospatiales Foundation Model?
Ein Foundation Model ist im allgemeinen Sinn des maschinellen Lernens ein Modell, das auf einem sehr großen, größtenteils unlabelten Datensatz vortrainiert wird, mit dem Ziel, wiederverwendet zu werden, statt für jede neue Aufgabe von Grund auf neu trainiert zu werden. Geospatiale Foundation Models übertragen dieselbe Idee auf die Erdbeobachtung: Sie werden auf riesigen Archiven von Satellitenbildern vortrainiert, oft über mehrere Sensoren, Auflösungen und Zeiträume hinweg, mit selbstüberwachten Zielen, die keine von Menschen gelabelten Beispiele benötigen.
Das Ergebnis dieses Vortrainings ist kein fertiger Klassifikator oder Detektor. Es ist ein Satz gelernter Repräsentationen, meist Embeddings genannt, die Struktur in den Bildern erfassen: Textur, spektrale Signatur, räumliches Muster, manchmal auch zeitliche Veränderung. Für eine nachgelagerte Aufgabe, etwa Kulturartenklassifikation, Hochwasserkartierung oder Gebäudeerkennung, wird dann ein kleiner, aufgabenspezifischer Kopf auf diesen Repräsentationen feinabgestimmt, mit einem deutlich kleineren gelabelten Datensatz, als für ein Training von Grund auf nötig wäre.
Das ist der Kern des Wertversprechens: Vortraining ist teuer und passiert einmal, auf unlabelten Daten, die vergleichsweise günstig zu beschaffen sind. Feinabstimmung ist günstig und passiert viele Male, auf gelabelten Daten, die vergleichsweise teuer zu erzeugen sind. Ein gut vortrainiertes Foundation Model verschiebt die Kostenkurve jeder nachgelagerten Aufgabe, die es wiederverwendet.
Warum Labels, nicht Pixel, der Engpass sind
Es lohnt sich, genau zu sein, warum das speziell für die Erdbeobachtung zählt. Satellitenprogramme wie Sentinel-2, Sentinel-1 und Landsat liefern Bilder nach einem festen, öffentlichen, sich wiederholenden Zeitplan. Die Bilder selbst sind nicht der Engpass. Ihre Labelung ist es.
Ein gelabelter Datensatz für eine Aufgabe wie Landbedeckungsklassifikation, Hochwasserausdehnung oder Entwaldungserkennung erfordert, dass jemand, oft eine Fachperson, Bilder gegen eine Ground Truth annotiert: Feldbegehungen, bestehende Karten, manuelle Luftbildinterpretation oder Abgleich mit anderen Datenquellen. Dieser Prozess ist langsam, erfordert Fachwissen und skaliert nicht so, wie die Bildaufnahme skaliert. Für die meisten spezifischen EO-Aufgaben, insbesondere neuartige, regionale oder solche, die nicht zu einem bestehenden Benchmark-Datensatz passen, ist der verfügbare gelabelte Datensatz klein, manchmal nur ein paar hundert oder ein paar tausend Beispiele.
Das ist das Label-Effizienz-Argument für Foundation Models: Ein Modell, das aus unlabelten Bildern bereits allgemein nützliche Repräsentationen gelernt hat, braucht deutlich weniger gelabelte Beispiele, um bei einer neuen Aufgabe eine brauchbare Genauigkeit zu erreichen, verglichen mit dem Training eines Modells aus einer zufälligen Initialisierung. In der Praxis kann das den Unterschied ausmachen zwischen einer Aufgabe, die mit den realistisch sammelbaren gelabelten Daten machbar ist, und einer Aufgabe, die einen Labelaufwand erfordert, für den Budget oder Zeit fehlen.
Was Embeddings tatsächlich sind, in einfachen Worten
Ein Embedding ist eine Liste fester Länge aus Zahlen, die ein Bild oder einen Bildausschnitt so zusammenfasst, wie ein Modell es gelernt hat, dass es nützlich ist. Zwei Bilder, die ähnlich aussehen oder eine ähnliche Landbedeckung, Struktur oder Beschaffenheit teilen, erzeugen tendenziell Embeddings, die numerisch nahe beieinander liegen. Zwei sehr unterschiedliche Bilder erzeugen Embeddings, die weit voneinander entfernt liegen.
Das ist die ganze Idee. Ein Embedding sagt Ihnen nicht in Worten, was im Bild zu sehen ist. Es ist keine Klassifikation. Es ist eine Koordinate in einem hochdimensionalen Raum, den ein Modell so organisiert hat, dass "ähnlicher" Inhalt an ähnlichen Stellen landet. Mit dieser Koordinate lassen sich dann nützliche Dinge tun: die nächsten Nachbarn zu einem Referenzbild suchen, eine Region in Gruppen ähnlich aussehender Flächen clustern, oder messen, wie weit sich das Embedding eines Bildes über die Zeit verschoben hat, als Signal für Veränderung.
Wirklich stark wird das, wenn Embeddings dicht berechnet werden, also für jede Kachel oder jeden Ausschnitt über eine große Fläche, und global, also konsistent über die gesamte Fläche statt nur an einer Handvoll Beispielstandorten. Ein dichter, globaler Embedding-Datensatz macht aus Erdbeobachtungsbildern etwas, das Sie direkt abfragen können, statt es jedes Mal visuell neu zu prüfen oder ein Modell erneut darüber laufen zu lassen. Drei praktische Anwendungen ergeben sich direkt daraus:
- Ähnlichkeitssuche: Ausgehend von einem Ort oder Bild, das Sie interessiert, finden Sie jeden anderen Ort in einem Datensatz, dessen Embedding nahe daran liegt, ohne vorab festzulegen, was "ähnlich" bedeuten soll
- Stratifizierte Stichproben: Wenn Sie eine repräsentative oder vielfältige Auswahl von Standorten für die Feldvalidierung oder weitere Analyse brauchen, clustern Sie zunächst die Embeddings, damit Ihre Stichprobe die tatsächlich vorhandene Variation abbildet, statt zufällig zu treffen
- Veränderungskandidaten: Markieren Sie Orte, an denen sich das Embedding zwischen zwei Zeitpunkten deutlich verschoben hat, als Stellen, die einen genaueren Blick verdienen, bevor Sie ein schwereres, aufgabenspezifisches Change-Detection-Modell auf den gesamten Datensatz anwenden
TerraMind: das Any-to-Any-EO-Modell von IBM und ESA
TerraMind ist ein offenes geospatiales Foundation Model von IBM und ESA, verfügbar auf Hugging Face. Es ist als generatives, multimodales Any-to-Any-Modell für die Erdbeobachtung konzipiert, das heißt, es kann eine oder mehrere EO-Datenmodalitäten als Eingabe nehmen und andere daraus erzeugen, statt auf eine einzige feste Eingabe-Ausgabe-Kombination beschränkt zu sein.
TerraMind wurde auf TerraMesh vortrainiert, einem Datensatz mit rund 9 Millionen räumlich-zeitlich ausgerichteten, multimodalen Beispielen, was etwa 500 Milliarden Tokens entspricht. Diese Größenordnung und die multimodale Ausrichtung über Sensoren hinweg ermöglichen erst das Any-to-Any-Design: Das Modell hat genug gepaarte Beispiele über Modalitäten hinweg gesehen, um zu lernen, wie sie zusammenhängen, nicht nur, wie jede für sich aussieht.
Die ESA hat TerraMind auf PANGAEA evaluiert, einem Community-Benchmark für geospatiale Foundation Models, wo es 12 gängige EO-Foundation-Models um 8 Prozent oder mehr übertraf, bei etwa einem Zehntel des Rechenaufwands, der nötig wäre, um Standardmodelle separat je Modalität zu betreiben. TerraMind ist Teil der FAST-EO-Initiative, einer Zusammenarbeit von DLR, Forschungszentrum Jülich, IBM Research Europe und KP Labs.
Major TOM: die größte offene Sentinel-Embedding-Initiative
Major TOM ist ein Projekt des ESA Phi-lab, durchgeführt mit CloudFerro, und nähert sich der Aufgabe von der Datensatzseite statt von der Modellseite. Major TOM veröffentlichte, nach Angaben der Autoren, den größten ML-fertigen Sentinel-2-Datensatz, der verfügbar ist: Das Core-Release deckt über die Hälfte der Erdoberfläche ab, rund 50 Terabyte und 2,5 Billionen Pixel.
Für den Embedding-Anwendungsfall direkt relevanter ist Major TOMs Embedding-Datensatz, der über 8 Millionen Sentinel-1- und Sentinel-2-Bilder, rund 62 Terabyte Quellbilder, in mehr als 170 Millionen Embeddings verarbeitet hat. Das wird als der erste offene, dichte, globale Embedding-Datensatz aus Copernicus-Daten beschrieben, genau die Art von Ressource, die Ähnlichkeitssuche und stratifizierte Stichproben im kontinentalen Maßstab praktikabel macht, ohne dass jedes Team ein eigenes Embedding-Modell über dieselben Bilder laufen lassen müsste. Zu den in diesem Release verwendeten Embedding-Modellen zählen SigLIP, DINOv2 und SSL4EO. Die Daten von Major TOM sind sowohl auf Hugging Face als auch auf CREODIAS verfügbar.
Prithvi und Clay: zwei weitere offene Optionen
Zwei weitere offene Initiativen lohnen einen kurzen Blick. Prithvi ist eine Familie offener geospatialer Foundation Models, entwickelt von NASA und IBM, veröffentlicht für allgemeine Erdbeobachtungsaufgaben. Clay ist ein offenes geospatiales Foundation Model, aufgebaut als Non-Profit-Projekt, mit dem Ziel, der breiteren EO-Community ein frei nutzbares, vortrainiertes Modell zur Verfügung zu stellen statt ein kommerzielles Produkt. Für keines der beiden liegen die oben für TerraMind und Major TOM genannten spezifischen Benchmark- oder Datensatzgrößen-Zahlen vor, aber beide sind legitime Optionen für eine Evaluierung, besonders wenn Lizenzbedingungen oder eine bestimmte Datenmodalität sie für ein konkretes Projekt besser passend machen.
Wo diese Modelle an ihre Grenzen kommen
Nichts davon ist ein Argument dafür, Foundation Models als gelöstes Problem zu behandeln. Ein paar Einschränkungen sollten klar benannt werden.
Embeddings erfassen Landbedeckung tendenziell besser als Landnutzung. Ein Modell, das auf spektralen und räumlichen Mustern trainiert ist, kann Wald von unbewachsenem Boden von bebauter Fläche recht gut unterscheiden, weil diese Kategorien stark mit dem korrelieren, was ein Sensor tatsächlich misst. Ein Lagerhaus von einer Einzelhandelsfläche zu unterscheiden, oder ein aktiv bewirtschaftetes Feld von einem brachliegenden, hängt oft von Informationen ab, die das Bild nicht direkt kodiert, und Embeddings aus Foundation Models schließen diese Lücke nicht von selbst.
Benchmark-Ergebnisse beschreiben die Aufgabe eines anderen, ausgewertet an den Daten eines anderen, nach der Definition eines anderen, was als korrekte Antwort zählt. Ein Modell, das andere auf PANGAEA oder einem anderen veröffentlichten Benchmark übertrifft, hat gezeigt, dass es auf die konkreten Aufgaben dieses Benchmarks gut generalisiert. Es hat nicht gezeigt, dass es bei Ihrer Aufgabe, in Ihrer Region, nach Ihrer Definition der relevanten Klassen genauso gut abschneidet.
Feinabstimmung und Validierung mit eigenen gelabelten Daten bleiben notwendig. Ein Foundation Model reduziert, wie viele gelabelte Daten Sie brauchen; es macht sie nicht überflüssig. Jede Einsatzentscheidung sollte auf einem Validierungsdatensatz beruhen, den Sie selbst kontrollieren und verstehen, nicht auf einer Position in einer Benchmark-Rangliste.
Die Modellauswahl sollte belegt, nicht angenommen werden. Der einzig verlässliche Weg, zwischen TerraMind, Major TOMs Embeddings, Prithvi, Clay oder einer anderen Option zu wählen, ist, die realistischen Kandidaten an Ihren eigenen Referenzdaten, für Ihre eigene Aufgabe, zu benchmarken, bevor Sie Entwicklungszeit in eine vollständige Integration investieren.
Wie Sie auswählen
Eine kurze, praktische Checkliste, um ein geospatiales Foundation Model gegen ein reales Projekt zu prüfen:
- Aufgabenpassung: Passen die Vortrainingsdaten und das Design des Modells zu Ihrem Sensor, Ihrer Auflösung und Ihrer Region, oder müsste es gut außerhalb dessen generalisieren, was es gesehen hat
- Lizenz: Ist das Modell samt Gewichten für Ihren Zweck wirklich nutzbar, einschließlich einer kommerziellen Anwendung, ohne Lizenzreibung
- Rechenleistung: Was kostet die Inferenz im benötigten Maßstab, und passt das zu Ihrer Infrastruktur und Ihrem Budget, besonders für dichte, flächendeckende Abdeckung statt einer Handvoll Beispielkacheln
- Datenmodalität: Unterstützt das Modell die Sensortypen, die Sie haben (optisch, SAR, multitemporale Stapel), von sich aus, oder müssten Sie Ihre Daten an sein erwartetes Eingabeformat anpassen
Wo Mapular ansetzt
Mapular baut KI-Systeme auf geospatialen Daten auf und betreibt dabei Model-Context-Protocol-Server im Produktivbetrieb. Unsere Haltung zu Foundation Models ist eine praktische: Wir integrieren sie, statt sie zu trainieren, und wählen das Modell, das zur Aufgabe, Lizenz und Infrastruktur eines Kunden passt, statt standardmäßig auf das jeweils neueste zu setzen. Wenn Sie abwägen, ob ein Foundation Model in Ihre Pipeline gehört, oder welches Sie zuerst benchmarken sollten, nehmen Sie Kontakt auf.
