Die zukünftige Belohnungsschätzung ist entscheidend im Reinforcement Learning, da sie die kumulativen Belohnungen vorhersagt, die ein Agent möglicherweise erhält, typischerweise durch Q-Wert oder Zustandswertfunktionen. Diese skalar Ausgaben fehlt jedoch Details darüber, wann oder welche spezifischen Belohnungen der Agent erwartet. Diese Einschränkung ist in Anwendungen, in denen menschliche Zusammenarbeit und Erklärbarkeit wesentlich sind, signifikant. Zum Beispiel in einem Szenario, in dem eine Drohne zwischen zwei Pfaden mit unterschiedlichen Belohnungen wählen muss, zeigen die Q-Werte allein nicht die Art der Belohnungen auf, was für das Verständnis des Entscheidungsprozesses des Agenten entscheidend ist.
Forscher der University of Southampton und des Kings College London haben Temporal Reward Decomposition (TRD) eingeführt, um die Erklärbarkeit im Reinforcement Learning zu verbessern. TRD modifiziert den zukünftigen Belohnungsschätzer eines Agenten, um die nächsten N erwarteten Belohnungen vorherzusagen und aufzuzeigen, wann und welche Belohnungen erwartet werden. Dieser Ansatz ermöglicht eine bessere Interpretation von Agentenentscheidungen, erklärt den Zeitpunkt und Wert der erwarteten Belohnungen und den Einfluss verschiedener Aktionen. Mit minimalen Leistungseinbußen kann TRD in bestehende RL-Modelle integriert werden, wie z.B. DQN-Agenten, und bietet wertvolle Einblicke in das Verhalten und die Entscheidungsfindung von Agenten in komplexen Umgebungen.
Die Studie konzentriert sich auf bestehende Methoden zur Erklärung von Entscheidungen von RL-Agenten basierend auf Belohnungen. Frühere Arbeiten haben sich mit der Zerlegung von Q-Werten in Belohnungskomponenten oder zukünftige Zustände befasst. Einige Methoden kontrastieren Belohnungsquellen wie Münzen und Schatztruhen, während andere die Q-Werte nach Zustandsbedeutung oder Übergangswahrscheinlichkeiten zerlegen. Diese Ansätze müssen jedoch den Zeitpunkt der Belohnungen berücksichtigen und skalen möglicherweise nicht zu komplexen Umgebungen. Alternativen wie Reward-Shaping oder Saliency Maps bieten Erklärungen, erfordern jedoch Umgebungsanpassungen oder konzentrieren sich auf visuelle Bereiche anstelle von spezifischen Belohnungen. TRD führt einen Ansatz ein, indem es Q-Werte im Laufe der Zeit zerlegt und so neue Erklärungstechniken ermöglicht.
Die Studie führt wesentliche Konzepte zur Verständnis des TRD-Rahmens ein. Sie beginnt mit Markov-Entscheidungsprozessen (MDPs), einem Grundbaustein des Reinforcement Learning, der Umgebungen mit Zuständen, Aktionen, Belohnungen und Übergängen modelliert. Anschließend wird Deep Q-learning diskutiert, das die Verwendung von neuronalen Netzwerken zur Näherung von Q-Werten in komplexen Umgebungen hervorhebt. QDagger wird eingeführt, um die Trainingszeit durch Wissenskondensation von einem Lehreragenten zu reduzieren. Zuletzt wird GradCAM erklärt als ein Werkzeug zur Visualisierung, welche Merkmale die Entscheidungen des neuronalen Netzwerks beeinflussen und so Interpretierbarkeit für Modellausgaben bietet. Diese Konzepte sind grundlegend für das Verständnis des Ansatzes von TRD.
Die Studie führt drei Methoden zur Erklärung von zukünftigen Belohnungen und Entscheidungsfindungen eines Agenten in Reinforcement Learning-Umgebungen ein. Erstens beschreibt sie, wie TRD vorhersagt, wann und welche Belohnungen ein Agent erwartet, um das Verhalten des Agenten in komplexen Umgebungen wie Atari-Spielen zu verstehen. Zweitens verwendet sie GradCAM, um zu visualisieren, welche Merkmale einer Beobachtung die Vorhersagen von kurz- und langfristigen Belohnungen beeinflussen. Schließlich setzt sie kontrastive Erklärungen ein, um den Einfluss verschiedener Aktionen auf zukünftige Belohnungen zu vergleichen und aufzuzeigen, wie sofortige versus verzögerte Belohnungen die Entscheidungsfindung beeinflussen. Diese Methoden bieten neue Einblicke in das Verhalten von Agenten und Entscheidungsprozesse.
Zusammenfassend kann festgehalten werden, dass TRD das Verständnis von Reinforcement-Learning-Agenten durch detaillierte Einblicke in zukünftige Belohnungen verbessert. TRD kann in vortrainierte Atari-Agenten mit minimalen Leistungseinbußen integriert werden. Es bietet drei wichtige erklärerische Werkzeuge: die Vorhersage zukünftiger Belohnungen und das Vertrauen des Agenten darin, die Identifizierung, wie sich die Bedeutung von Merkmalen mit der Belohnungszeit verschiebt, und den Vergleich der Auswirkungen verschiedener Aktionen auf zukünftige Belohnungen. TRD zeigt genauere Details zum Verhalten eines Agenten auf, wie z.B. Belohnungszeitpunkt und Vertrauen, und kann mit zusätzlichen Zerlegungsansätzen oder Wahrscheinlichkeitsverteilungen für zukünftige Forschung erweitert werden.