Batch Normalization
Batch Normalization ist ein Verfahren, das die Eingaben jeder Schicht während des Trainings eines neuronalen Netzes normalisiert und so den Lernprozess stabilisiert und beschleunigt. Es ist ein Standardbestandteil geospatialer Deep-Learning-Architekturen zur Analyse von Satellitenbildern.
Überblick
Batch Normalization (BatchNorm) ist ein Verfahren für neuronale Netze, das die Aktivierungen jeder Schicht normalisiert, indem es sie auf Basis von Mittelwert und Varianz des aktuellen Mini-Batches der Trainingsdaten anpasst und skaliert. Für jeden Feature-Kanal subtrahiert BatchNorm den Batch-Mittelwert und teilt durch die Batch-Standardabweichung. Anschließend werden gelernte Skalierungs- und Verschiebungsparameter angewendet, die es dem Netz erlauben, die optimale Verteilung für jede Schicht wiederherzustellen. Diese Normalisierung reduziert den sogenannten internen Kovariablen-Shift (internal covariate shift), bei dem sich die Verteilung der Schichteingaben verändert, während vorangehende Schichten während des Trainings aktualisiert werden.
Vorteile für das Training tiefer geospatialer Modelle
Batch Normalization ermöglicht ein schnelleres und stabileres Training tiefer CNNs und anderer Architekturen, die in geospatialer KI eingesetzt werden. Es erlaubt höhere Lernraten, ohne das Risiko einer Divergenz einzugehen, und beschleunigt dadurch die Konvergenz. Zugleich verringert es die Empfindlichkeit gegenüber der Gewichtsinitialisierung, wodurch das Training robuster wird. BatchNorm wirkt zudem als eine Form der Regularisierung und kann den Bedarf an DropoutDropoutDropout is a regularization technique that randomly deactivates neurons during training, preventing neural networks f... verringern. Für geospatiale Modelle, die Satellitenbilder mit unterschiedlichen atmosphärischen Bedingungen und Beleuchtungsverhältnissen zwischen einzelnen Szenen verarbeiten, hilft BatchNorm dem Netz, sich an diese Variabilität der Eingabedaten anzupassen. Es ist ein Standardbestandteil von Architekturen wie ResNetResNetResNet (Residual Network) is a deep neural network architecture that uses skip connections to enable training of very..., U-NetU-NetU-Net is an encoder-decoder neural network architecture with skip connections designed for precise image segmentation... und Feature Pyramid Networks, die das Rückgrat der meisten geospatialen Computer-Vision-Systeme bilden.
Varianten und praktische Überlegungen
Group Normalization und Layer Normalization bieten Alternativen, wenn die Batch-Größe aufgrund von Speicherbeschränkungen bei der Verarbeitung großer Satellitenbild-Kacheln klein gehalten werden muss. Instance Normalization, die in Anwendungen des Style Transfer verwendet wird, normalisiert jedes Sample unabhängig. Während der Inferenz nutzt BatchNorm die während des Trainings akkumulierten laufenden Statistiken anstelle der Batch-Statistiken, um konsistente Vorhersagen für einzelne Bilder sicherzustellen. Das Zusammenspiel von BatchNorm mit anderen Trainingstechniken wie Mixed-Precision-Training und verteiltem Training erfordert bei der Entwicklung großskaliger geospatialer Modelle besondere Aufmerksamkeit.
Bereit?
Sehen Sie Mapular
in Aktion.
Buchen Sie eine kostenlose 30-minütige Demo. Wir zeigen Ihnen genau, wie die Plattform für Ihren Anwendungsfall funktioniert. Kein generisches Foliendeck, keine Verpflichtung.