Dropout

Dropout ist eine Regularisierungsmethode für neuronale Netze, bei der zufällig ausgewählte Neuronen während jedes Trainingsschritts zusammen mit all ihren Verbindungen vorübergehend entfernt werden. Jedes Neuron wird mit einer festgelegten Wahrscheinlichkeit, typischerweise 20 bis 50 Prozent, ausgeschaltet, sodass in unterschiedlichen Mini-Batches jeweils andere Teilnetze trainiert werden. Dies zwingt das Netz, redundante Repräsentationen zu entwickeln, und verhindert Ko-Adaption, bei der Neuronen übermäßig von bestimmten anderen Neuronen abhängig werden. Zur Inferenzzeit sind alle Neuronen aktiv, ihre Ausgaben werden jedoch mit der Dropout-Wahrscheinlichkeit skaliert, um konsistente Erwartungswerte zu gewährleisten.

Overfitting ist eine anhaltende Herausforderung in der geospatialen KI, da Trainingsdaten oft nur begrenzte geografische Regionen, Zeiträume oder Sensorbedingungen abdecken, während Modelle auf vielfältige reale Szenarien generalisieren müssen. Ein Modell, das auf Satellitenbildern einer bestimmten Region trainiert wurde, kann regionsspezifische Muster auswendig lernen, anstatt verallgemeinerbare Merkmale zu erfassen. Dropout wirkt dem entgegen, indem sichergestellt wird, dass sich das Modell nicht auf ein einzelnes Merkmal oder Neuron verlassen kann. Dadurch entstehen robustere Repräsentationen, die sich besser auf andere geografische Kontexte übertragen lassen. Die Technik wird häufig in den vollständig verbundenen Schichten von Klassifikationsnetzen sowie in den Decoder-Pfaden von Segmentierungsarchitekturen wie U-NetU-NetU-Net is an encoder-decoder neural network architecture with skip connections designed for precise image segmentation... eingesetzt.

Die Dropout-Rate ist ein anpassbarer Hyperparameter: Höhere Raten bewirken eine stärkere Regularisierung, können aber die Modellkapazität einschränken. Spatial Dropout, bei dem ganze Feature-Map-Kanäle statt einzelner Neuronen entfernt werden, ist bei Convolutional-Architekturen zur Verarbeitung von Satellitenbildern oft wirksamer, da benachbarte Pixel stark korreliert sind. DropBlock erweitert dieses Konzept, indem zusammenhängende Bereiche von Feature Maps entfernt werden. Moderne Architekturen ersetzen Dropout mitunter durch andere Regularisierungstechniken wie Batch NormalizationBatch NormalizationBatch Normalization is a technique that normalizes the inputs to each layer during neural network training, stabilizi..., Weight Decay oder Datenerweiterung, wobei die Kombination mehrerer Regularisierungsstrategien für geospatiale Aufgaben oft die besten Ergebnisse liefert.