Backpropagation

Backpropagation, kurz für die rückwärtsgerichtete Fehlerpropagation, ist der zentrale Algorithmus, der das Training neuronaler Netze überhaupt erst ermöglicht. Er berechnet den Gradienten der Verlustfunktion in Bezug auf jedes einzelne Gewicht im Netz, indem die Kettenregel der Differentialrechnung angewendet wird und Fehlersignale von der Ausgabeschicht rückwärts durch jede verborgene Schicht bis zur Eingabe propagiert werden. Diese Gradienten geben Richtung und Ausmaß der Gewichtsanpassungen an, die zur Reduzierung von Vorhersagefehlern erforderlich sind. In Kombination mit einem Optimierer wie SGD oder Adam ermöglicht Backpropagation ein iteratives Training, das die Modellleistung fortlaufend verbessert.

Während eines Forward Pass durchläuft der Input das Netz und erzeugt am Ausgang Vorhersagen. Die Verlustfunktion berechnet den Fehler zwischen den Vorhersagen und den tatsächlichen Werten. Backpropagation arbeitet dann rückwärts: Zunächst wird der Gradient des Verlusts in Bezug auf die Gewichte der Ausgabeschicht berechnet, anschließend werden diese Gradienten zusammen mit der Kettenregel genutzt, um die Gradienten für jede vorangehende Schicht zu bestimmen. Der Gradient jeder Schicht hängt von den Gradienten der darüberliegenden Schichten sowie von den eigenen gelernten Gewichten und Aktivierungsfunktionen der Schicht ab. Moderne Deep-Learning-Frameworks wie PyTorch und TensorFlow implementieren automatische Differenzierung und berechnen Backpropagation-Gradienten automatisch für beliebige Netzarchitekturen.

Jedes Deep-Learning-Modell, das in der geospatialen KI eingesetzt wird, von CNNs zur Verarbeitung von Satellitenbildern bis zu Transformern zur Analyse zeitlicher Sequenzen, ist beim Training auf Backpropagation angewiesen. Das Verständnis von Backpropagation beleuchtet Herausforderungen beim Training tiefer Netze, darunter verschwindende Gradienten in sehr tiefen Architekturen (adressiert durch ResNetResNetResNet (Residual Network) is a deep neural network architecture that uses skip connections to enable training of very...-Skip-Connections), explodierende Gradienten (abgemildert durch Gradient Clipping) sowie die Rechenkosten der Gradientenberechnung für große Modelle. Die Effizienz von Backpropagation für bestimmte Architekturen wirkt sich direkt auf die praktische Machbarkeit aus, geospatiale Modelle auf hochauflösenden, multispektralen Satellitenbildern zu trainieren.