Die Roboterlernen hat in den letzten Jahren bemerkenswerte Fortschritte gemacht; dennoch bleibt es eine bedeutende Herausforderung, menschenähnliche Leistung in Bezug auf Genauigkeit, Geschwindigkeit und Anpassungsfähigkeit in verschiedenen Bereichen zu erreichen. Ein solcher Bereich ist Tischtennis – ein Sport, der von menschlichen Spielern jahrelanges intensives Training erfordert, um ein fortgeschrittenes Maß an Können zu erreichen.
In einem neuen Artikel “Achieving Human Level Competitive Robot Table Tennis” stellt ein Forschungsteam von Google DeepMind den ersten Roboteragenten vor, der eine amateurhafte menschenähnliche Leistung im wettbewerbsfähigen Tischtennis erreicht.
Das Team verwendete eine hierarchische und modulare Richtlinienarchitektur, die aus mehreren Richtlinien auf niedriger Ebene besteht, die von einem Hochleistungsregler gesteuert werden. Jede Richtlinie auf niedriger Ebene ist auf einen spezifischen Aspekt des Tischtennis zugeschnitten, wie das Ausführen eines Vorhandspinns, das Zielen mit einem Rückhandschlag oder die Ausführung eines Vorhandaufschlags. Diese Fähigkeiten basieren auf einer gemeinsamen Grundrichtlinie und ermöglichen eine weitere Spezialisierung, wenn sich jede Fähigkeit verbessert.
Der Roboter-Tischtennisagent arbeitet mit einem zweistufigen Steuersystem, bestehend aus einem Hochleistungsregler (HLC) und mehreren Niedrigstufe-Reglern (LLCs). Die LLCs sind dafür verantwortlich, verschiedene Tischtennisfähigkeiten auszuführen, indem sie Gelenkgeschwindigkeitsbefehle mit einer Frequenz von 50 Hz generieren. Die Rolle des HLC besteht darin, zu bestimmen, welcher LLC während jeder Ballfolge aktiviert werden soll. Innerhalb des HLC arbeiten sechs Komponenten zusammen, um den optimalen LLC für die jeweilige Situation zu bestimmen.
Neben der Entwicklung der Richtlinie selbst sammeln und speichern die Forscher auch Daten sowohl offline als auch online über die Stärken, Schwächen und Einschränkungen jeder Fähigkeit auf niedriger Ebene. Diese Fähigkeitsbeschreibungen geben dem Roboter wichtige Einblicke in seine Fähigkeiten und Verbesserungsbereiche. Der HLC verwendet diese Informationen zusammen mit den aktuellen Spielstatistiken und dem Profil des Gegners, um in jedem Moment die geeignetste Fähigkeit auszuwählen.
In ihrer empirischen Studie bewerteten die Forscher die Leistung des Roboters in 29 Spielen gegen menschliche Gegner. Der Roboter gewann 45% der Spiele (13 von 29), einschließlich 100% der Spiele gegen Anfänger und 55% gegen fortgeschrittene Spieler, was eine solide amateurhafte menschenähnliche Leistung zeigt. Der Artikel “Achieving Human Level Competitive Robot Table Tennis” ist auf arXiv verfügbar.
Autorin: Hecate He | Redaktion: Chain Zhang