Spatial Transformer Network

Ein Spatial TransformerTransformerThe Transformer is an attention-based neural network architecture that processes entire sequences in parallel, enabli... Network (STN) ist ein differenzierbares neuronales Netzwerkmodul, das lernt, räumliche Transformationen wie Rotation, Skalierung, Translation und affine Verzerrung auf Eingabemerkmale oder Bilder anzuwenden. Das von Forschern bei DeepMind eingeführte STN besteht aus drei Komponenten: einem Lokalisierungsnetzwerk, das Transformationsparameter aus der Eingabe vorhersagt, einem Grid-Generator, der auf Basis dieser Parameter ein Sampling-Gitter erzeugt, und einem Sampler, der mittels bilinearer Interpolation die transformierte Ausgabe erstellt. Da alle Komponenten differenzierbar sind, kann das gesamte Modul mittels BackpropagationBackpropagationBackpropagation is the fundamental algorithm for computing gradients in neural network training, propagating error si... end to end trainiert werden und lernt dabei, genau jene räumlichen Transformationen anzuwenden, die die Leistung bei der jeweiligen Aufgabe verbessern.

Spatial TransformerTransformerThe Transformer is an attention-based neural network architecture that processes entire sequences in parallel, enabli... Networks adressieren eine grundlegende Herausforderung der Geodaten-KI: Satelliten- und Luftbilder enthalten Objekte in beliebigen Ausrichtungen, Maßstäben und mit perspektivischen Verzerrungen. Anders als bei Fotografien auf Bodenniveau, bei denen Objekte durchgehend aufrechte Ausrichtungen aufweisen, zeigen Überkopfaufnahmen Gebäude, Fahrzeuge und Infrastruktur je nach Blickgeometrie des Sensors aus unterschiedlichen Winkeln. STNs lernen, diese Variationen zu normalisieren, indem sie Merkmale effektiv auf eine kanonische Ausrichtung ausrichten, bevor eine Klassifikation oder Erkennung erfolgt. Das ist besonders wertvoll für die Multi-Sensor-Fusion, bei der Bilder verschiedener Satelliten unterschiedliche Blickwinkel und geometrische Eigenschaften aufweisen. Aufgaben der Georeferenzierung und Bildregistrierung profitieren von der Fähigkeit des STN, Ausrichtungstransformationen zwischen Bildpaaren zu erlernen.

STNs können als differenzierbares Vorverarbeitungs- oder Merkmalsausrichtungsmodul in jede neuronale Netzwerkarchitektur eingefügt werden. Sie werden in deformierbaren Faltungen (Deformable Convolutions) eingesetzt, die ihre Sampling-Positionen an die geometrische Struktur von Objekten anpassen, was sich besonders für die Erkennung unregelmäßig geformter geografischer Merkmale eignet. Während moderne Attention-Mechanismen in Transformern gewisse Fähigkeiten zur räumlichen Anpassung bieten, bleiben dedizierte Spatial-TransformerTransformerThe Transformer is an attention-based neural network architecture that processes entire sequences in parallel, enabli...-Module wertvoll für Aufgaben, die eine explizite geometrische Normalisierung erfordern. Das Konzept hat die Entwicklung von Deformable Attention in Erkennungs-Frameworks wie Deformable DETR beeinflusst, die eine attention-basierte Merkmalsauswahl mit geometrischer Flexibilität kombinieren.