Reinforcement Learning

Reinforcement Learning (RL, verstärkendes Lernen) ist ein Teilgebiet des maschinellen Lernens, bei dem ein Agent lernt, Entscheidungen zu treffen, indem er mit einer Umgebung interagiert, Handlungen ausführt und dafür in Form von Belohnungen oder Bestrafungen Rückmeldung erhält. Das Ziel des Agenten besteht darin, eine Strategie (Policy) zu erlernen, die die kumulative Belohnung über die Zeit maximiert. Anders als beim überwachten Lernen, das für jede Situation gelabelte Beispiele erfordert, entdeckt RL optimale Strategien durch Exploration und Exploitation. Zu den zentralen Konzepten zählen Zustände (die aktuelle Situation), Handlungen (verfügbare Optionen), Belohnungen (Rückmeldesignale) sowie die Wertfunktion (die erwartete zukünftige Belohnung ausgehend von einem bestimmten Zustand).

RL wird auf zahlreiche räumliche Entscheidungsprobleme angewendet. Bei der Routenoptimierung nutzen RL-Agenten effiziente Pfade durch Straßennetze und passen sich dabei an Echtzeit-Verkehrsbedingungen sowie mehrere Zielgrößen wie minimale Zeit, Distanz oder Kraftstoffverbrauch an. Die Navigation autonomer Fahrzeuge setzt Deep RL ein, um Fahrentscheidungen auf Basis von Sensordaten und räumlichem Kontext zu treffen. Die Steuerung städtischer Verkehrssignale nutzt Multi-Agenten-RL, um Kreuzungen zu koordinieren und den Verkehrsfluss über städtische Netze hinweg zu verbessern. Probleme der Ressourcenzuweisung, etwa die Positionierung von Rettungsfahrzeugen, der Einsatz von Feldsensoren oder die Planung von Satellitenaufnahmen, profitieren von der Fähigkeit des RL, sequenzielle Entscheidungen unter Unsicherheit zu optimieren.

RL steht in geografischen Domänen vor Herausforderungen wie großen Zustandsräumen, die sich aus der Komplexität geografischer Umgebungen ergeben, langen Trainingszeiten, die Millionen simulierter Interaktionen erfordern, sowie der Schwierigkeit, geeignete Belohnungsfunktionen für räumliche Zielsetzungen zu definieren. Safe RL stellt sicher, dass Agenten während der Exploration gefährliche oder unerwünschte Handlungen vermeiden, was für Anwendungen autonomer Fahrzeuge von entscheidender Bedeutung ist. Multi-Agenten-RL ermöglicht die Koordination zwischen verteilten Einheiten wie Drohnenflotten oder Lieferfahrzeugen. Beim Sim-to-Real-Transfer werden RL-Agenten in simulierten geografischen Umgebungen trainiert, wonach die erlernten Strategien auf die reale Welt übertragen werden.