ResNet

ResNet, kurz für Residual Network, ist eine von Microsoft Research eingeführte Deep-Learning-Architektur, die das Degradationsproblem in sehr tiefen neuronalen Netzen durch residuales Lernen löste. Anstatt eine direkte Zuordnung von Eingabe zu Ausgabe zu erlernen, lernt jeder Residualblock die Differenz (das Residuum) zwischen der gewünschten Ausgabe und der Eingabe, die anschließend über eine Skip Connection wieder hinzugefügt wird. Diese einfache, aber wirkungsvolle Innovation ermöglicht das Training von Netzen mit Hunderten oder Tausenden von Schichten, weit tiefer als zuvor möglich, indem sichergestellt wird, dass Gradienten während der BackpropagationBackpropagationBackpropagation is the fundamental algorithm for computing gradients in neural network training, propagating error si... ungehindert durch das Netz fließen.

ResNet-Architekturen, insbesondere ResNet-50 und ResNet-101, dienen als Backbone-Merkmalsextraktoren in vielen geospatialen KI-Systemen. Frameworks zur Objekterkennung wie Faster R-CNN und RetinaNet nutzen ResNet, um multiskalige Merkmale aus Satellitenbildern für die Erkennung von Gebäuden und Fahrzeugen zu extrahieren. Modelle zur semantischen Segmentierung wie DeepLab und Feature Pyramid Networks bauen auf ResNet-Backbones auf, um pixelgenaue Landbedeckungskarten zu erzeugen. Systeme zur Änderungserkennung (Change DetectionChange DetectionChange detection uses geospatial data and imagery to track and analyze alterations in landscapes, infrastructure, or ...) nutzen duale ResNet-Encoder, um vergleichbare Merkmale aus multitemporalen Bildpaaren zu extrahieren. Vortrainierte ResNet-Modelle, die ursprünglich auf ImageNet trainiert wurden, lassen sich durch Fine-Tuning effektiv auf Fernerkundungsaufgaben übertragen und verringern damit den Bedarf an umfangreichen, gelabelten geospatialen Datensätzen.

Zu den ResNet-Varianten zählen ResNeXt mit gruppierten Convolutions für höhere Effizienz, Wide ResNets mit breiteren Schichten sowie SE-ResNet mit Channel Attention. Obwohl Vision Transformers ResNet bei manchen Benchmarks übertroffen haben, bleibt ResNet aufgrund seiner Effizienz, seines gut verstandenen Verhaltens und seines umfangreichen Ökosystems an vortrainierten Gewichten weit verbreitet. Die Architektur von ResNet inspirierte direkt die Skip Connections in U-NetU-NetU-Net is an encoder-decoder neural network architecture with skip connections designed for precise image segmentation... und anderen Segmentierungsnetzen, die für die geospatiale Bildanalyse von zentraler Bedeutung sind.