Semantische Segmentierung

Semantische Segmentierung ist eine fortgeschrittene Computer-Vision-Technik, die jedes Pixel eines Bildes vordefinierten Kategorien zuordnet und dadurch eine dichte, pixelgenaue Karte der Szene erzeugt. Im Unterschied zur Objekterkennung, die diskrete Objekte mithilfe von Begrenzungsrahmen identifiziert, liefert die semantische Segmentierung ein vollständiges Verständnis der räumlichen Anordnung, indem jeder Bildbereich beschriftet wird. Dies macht sie besonders wertvoll für geospatiale Anwendungen, bei denen eine durchgehende Flächenanalyse erforderlich ist, etwa bei der Landbedeckungsklassifikation und der Stadtkartierung.

Modelle zur semantischen Segmentierung verarbeiten Bilder mithilfe von Encoder-Decoder-Architekturen neuronaler Netze. Der Encoder extrahiert hierarchische Merkmale aus dem Eingabebild, komprimiert dabei räumliche Informationen und erfasst gleichzeitig semantische Bedeutung. Der Decoder tastet diese Merkmale anschließend wieder auf die ursprüngliche Bildauflösung hoch und erzeugt so eine pixelweise Klassifikationskarte. Zu den prominenten Architekturen zählen U-NetU-NetU-Net is an encoder-decoder neural network architecture with skip connections designed for precise image segmentation..., das Skip-Connections zur Bewahrung räumlicher Details nutzt, sowie DeepLab, das atrous convolutions (dilatierte Faltungen) zur Erfassung von Kontext auf mehreren Maßstabsebenen einsetzt. Fully Convolutional Networks (FCNs) ersetzten vollständig verbundene Schichten durch Faltungsschichten und ermöglichten damit eine durchgängige, pixelweise Vorhersage. Verlustfunktionen wie Cross-Entropy und der Dice-Loss werden während des Trainings optimiert, um die Segmentierungsgenauigkeit zu verbessern.

Semantische Segmentierung ist eine der am weitesten verbreiteten Techniken in der Fernerkundung und geospatialen Analyse. Die Kartierung von Landnutzung und Landbedeckung stützt sich auf semantische Segmentierung, um jedes Pixel eines Satellitenbilds Kategorien wie Wald, Wasser, städtisches Gebiet, landwirtschaftliche Fläche oder Ödland zuzuordnen. Stadtplaner nutzen sie zur Abgrenzung von Gebäudegrundrissen, Straßenflächen, Grünflächen und Gewässern für eine umfassende Stadtkartierung. In der Landwirtschaft kartiert die semantische Segmentierung Feldfrüchte, identifiziert von Unkraut befallene Flächen und überwacht Bodenzustände. Umweltwissenschaftler setzen sie ein, um Entwaldungsgrenzen zu verfolgen, die Ausdehnung von Feuchtgebieten zu kartieren und Küstenerosion zu überwachen. Bei der Hochwasserkartierung wird die semantische Segmentierung genutzt, um überflutete Flächen aus Satellitenbildern für die Katastrophenhilfe abzugrenzen.

Semantische Segmentierung liefert die detaillierteste räumliche Analyse, die aus Bildmaterial möglich ist, da jedes Pixel eine Klassifikation erhält. Diese Vollständigkeit ermöglicht präzise Flächenberechnungen, Grenzabgrenzungen und Veränderungserkennung. Die kontinuierliche Natur von Segmentierungskarten fügt sich naturgemäß in geografische Datenformate wie Rasterdaten und Vektorgrenzen ein. In Kombination mit Zeitreihenbildern ermöglicht die semantische Segmentierung eine detaillierte Beobachtung, wie sich Landschaften über Monate und Jahre hinweg verändern.

Die Erstellung genauer semantischer Segmentierungen erfordert große Mengen an pixelgenau annotierten Trainingsdaten, deren Erstellung teuer und zeitaufwändig ist. Klassengrenzen in natürlichen Umgebungen sind häufig fließend statt scharf, was eine präzise Beschriftung subjektiv macht. Mischpixel an den Rändern von Objekten, insbesondere in niedriger aufgelösten Satellitenbildern, führen zu Klassifikationsunschärfen. Der Rechenaufwand skaliert mit der Bildauflösung, wodurch die Verarbeitung von Bildern sehr hoher Auflösung ressourcenintensiv wird.

Vision TransformerTransformerThe Transformer is an attention-based neural network architecture that processes entire sequences in parallel, enabli... und Attention-Mechanismen verbessern die Segmentierungsgenauigkeit, indem sie globalen Kontext über gesamte Bilder hinweg erfassen. Panoptic Segmentation kombiniert semantische und Instanzsegmentierung, um einzelne Objekte innerhalb derselben Klasse zu unterscheiden. Selbstüberwachtes Vortraining (Self-Supervised Pretraining) auf unbeschrifteten Satellitenbildern reduziert den Annotationsaufwand. Semantische Echtzeitsegmentierung auf Edge-Geräten ermöglicht Anwendungen im Bereich der autonomen Navigation und des drohnengestützten Umweltmonitorings.