Feature Pyramid Network (FPN)

Ein Feature Pyramid Network ist eine neuronale Netzwerkarchitektur, die aus einem einzelnen Eingabebild eine mehrstufige Merkmalspyramide konstruiert, indem sie Bottom-up-Merkmalsextraktion mit Top-down-Merkmalsweiterleitung und lateralen Verbindungen kombiniert. Der Bottom-up-Pfad extrahiert Merkmale über ein Backbone-Netzwerk wie ResNetResNetResNet (Residual Network) is a deep neural network architecture that uses skip connections to enable training of very... in zunehmend niedrigerer Auflösung. Der Top-down-Pfad tastet semantisch starke, aber räumlich grobe Merkmale aus höheren Pyramidenebenen hoch ab (Upsampling). Laterale Verbindungen führen diese hochabgetasteten Merkmale mit den entsprechenden Bottom-up-Merkmalen auf jeder Skalenebene zusammen, wodurch Merkmalskarten entstehen, die auf allen Auflösungsstufen sowohl semantisch reichhaltig als auch räumlich präzise sind.

FPN ist für geodätische Anwendungen von entscheidender Bedeutung, da Objekte in Satelliten- und Luftbildern enorme Größenunterschiede aufweisen. Ein einzelnes Bild kann kleine Objekte wie Fahrzeuge mit nur wenigen Pixeln Ausdehnung neben großen Strukturen wie Industriekomplexen mit Tausenden von Pixeln enthalten. Ohne Merkmale auf mehreren Maßstabsebenen haben Detektoren Schwierigkeiten mit dieser Größenvariation. FPN ermöglicht eine konsistente Erkennungsgenauigkeit über alle Skalen hinweg, indem es geeignete Merkmalsrepräsentationen für Objekte jeder Größe bereitstellt. Gebäudeerkennungssysteme nutzen FPN, um alles von kleinen Wohngebäuden bis zu großen Gewerbebauten zu finden. Bei der Infrastrukturüberwachung kommen FPN-basierte Detektoren zum Einsatz, um Merkmale von einzelnen Strommasten bis hin zu ganzen Solarparks zu identifizieren.

FPN wird typischerweise in Objekterkennungs-Frameworks wie Faster R-CNN, RetinaNet und Mask R-CNN integriert und stellt dabei das Merkmals-Backbone bereit, auf dem diese Detektoren aufbauen. Zudem verbessert es die semantische Segmentierung, indem es einen mehrstufigen Kontext für die Pixelklassifikation liefert. Zu den modernen Weiterentwicklungen zählen PANet (Path Aggregation Network), das der Pyramide einen zusätzlichen Bottom-up-Pfad hinzufügt, BiFPN (Bidirectional FPN) aus EfficientDet, das eine gewichtete Merkmalsfusion erlernt, sowie NAS-FPN, das mittels neuronaler Architektursuche die Pyramidenstruktur optimiert.