Gute Spieler passen sich den Regeln an und entwickeln neue Strategien. Noch spannender wird es, wenn die Spieler künstliche Intelligenzen sind. Die Forscher von OpenAI haben mehrere Agenten in einem klassischen Versteckspiel gegeneinander antreten lassen. Während das Team der Sucher immer erfolgreicher wurde, begann das Team der Verstecker, Werkzeuge einzusetzen, um sein Ziel zu erreichen – und lernte sogar, die Ressourcen des Gegners zu „kapern“.
Wir wissen bereits, dass künstliche Intelligenzen Bilder malen, Stimmen klonen, Gesichter erfinden, Menschen altern lassen und Schauspielerinnen entkleiden können. Aber die Art, wie sie Fehler machen und daraus lernen, fasziniert uns immer wieder. Natürlich haben sie überzeugende Vorteile wie nicht essen, nicht schlafen und Millionen Mal am Tag trainieren zu können, aber die Entwicklung ihrer Fähigkeiten ist langsam, und ihnen bleibt keine andere Wahl, als diesen langen Weg zu gehen.
Die eigentliche Frage lautet: Was können sie erreichen, wenn sie am Ziel angekommen sind? Kooperation. Strategische Nutzung von Ressourcen. Ausnutzung der etablierten Regeln. Die Leute von OpenAI nennen es „Emergenter Werkzeuggebrauch durch Multi-Agenten-Interaktion“, aber ich denke, es ist besser, wenn du sie in Aktion siehst:
Das Szenario
Das Szenario ist einfach: Zwei Teams von Agenten spielen gegeneinander Verstecken. Das Belohnungssystem basiert auf positiven und negativen Punkten: +1 für „finden/entkommen“, -1 für „nichts finden/gesehen werden“. Nach anfänglichen Siegen der Sucher (rot) begann das blaue Team, Blöcke zu verwenden und zu fixieren, um die Eingänge zu blockieren und ein gemeinsames Versteck zu schaffen. Nach mehreren Generationen lernten auch die Sucher, Werkzeuge zu benutzen, indem sie Rampen bewegten, um über die Wand zu springen und ihre Gegner zu finden.
Diese Strategie war Millionen von Runden unfehlbar, bis das blaue Team verstand, dass die Sucher die Wand nicht überqueren konnten, wenn es die Rampen stahl, bevor es das Versteck schloss. OpenAI gab den Teams keinerlei Anreiz, solches Verhalten zu entwickeln. Jedes Mal, wenn ein Team eine neue Fähigkeit lernt, entsteht ein zusätzlicher Druckpunkt für den Gegner, der sich auf die eine oder andere Weise anpassen muss.
https://old.neoteo.com/google-research-football-agentes-virtuales-futbol/In der letzten Trainingsphase wurden die Agenten in einen offeneren Raum versetzt, in dem das blaue Team gezwungen war, sein eigenes Versteck zu bauen. Die blauen Agenten entfernten die Rampen von der Karte und fixierten sie dort, wodurch sie völlige Freiheit hatten, einen geschlossenen Raum zu schaffen und die Sucher zu isolieren. Was tat das rote Team der Suchagenten? Es lernte, auf den Kisten zu „surfen“.
Das Experiment von OpenAI ist ein fantastisches Beispiel für bestärkendes Lernen. Die Agenten trainierten gegen sich selbst und gegen frühere Versionen, indem sie einen Selbstspiel-Algorithmus anwendeten. Trotz der relativen Einfachheit der Regeln in dieser Versteck-Welt entwickelten die Agenten intelligente Strategien durch bloße Konkurrenz, Zusammenarbeit und Interaktion.
Offizielle Website: Hier klicken
