KI bricht Rekorde in Atari-Spielen

„Weder die Prämisse der Studie – das heißt, seltene Lösungen oder Rewards machen Suchprobleme schwerer – noch die Lösung – das heißt, die Wiederverwendung von erfolgreichen Teiltrajektorien – überraschen. Die Studie ist methodisch inkrementell und doch ein Durchbruch: Menschliche Experten in so vielen Problemen zu schlagen, ist ein eindrucksvoller Erfolg!“

„Die größte Überraschung des Artikels steckt aber in den Details: Wenn ‚Domain Knowledge‘ (das heißt: menschliches Vorwissen) einbezogen wird, kann Go-Explore den menschlichen Weltrekord schlagen. Sollte diese Aussage sich als verallgemeinerbar herausstellen, dann kann dies ein Zeitenwechsel in der KI sein, wo die beiden KI-Familien der statistisch-neuronalen Verfahren und des ‚Domain Knowledge‘-Engineering sich endlich vereinen. Für viele KI-Forscher wäre dies ein fast 70 Jahre alter Traum!“

„Persönlich vermute ich, dass eine derartige Kombination von statistisch-neuronalen Verfahren und des ‚Domain Knowledge‘-Engineering der KI den Durchbruch in der Medizin, im autonomen Fahren und in anderen sicherheitskritischen Anwendungen ermöglichen wird. Daher ist dieser potentielle Zeitenwechsel von sehr großer Bedeutung.“

„Einen Mehrwert für die Robotik sehe ich an den Haaren herbeigezogen. In der Robotik ist die Beschreibung der Situation meist das größte Problem. Wenn wir gute Simulatoren haben und sowohl Problem als auch Situation klar definieren können, ist das Problem in der Robotik meist einfach lösbar.“

„Go-Explore verlangt entweder gute Simulatoren und Problembeschreibungen oder unbezahlbar viele Versuche auf dem gleichen echten System. Genau deswegen ist die Übertragung der Durchbrüche von den Atari Games auf die anthropomorphe Robotik so schwer.“

„Es ist wenig überraschend, dass sich die Performance erhöht, wenn sich der RL Agent (Reinforcement Learning Agent; Anm. d. Red.) seine besten erreichten Zustände merkt und dann ab dieser Position weiter erkundet. Es ist bekannt, dass aktuelle Systeme speicherlimitiert sind, ‚Speicher-erweitertes‘ deep learning wurde bereits in vielfältiger Weise erforscht. Die Anwendung im Bereich des Verstärkenden Lernens (= Reinforcement Learning; Anm. d. Red.) ist eher neu und wegweisend. Entscheidend für den Erfolg und die Anwendbarkeit auf andere Probleme ist, wie effektiv sich Zustände komprimiert darstellen lassen. Ein Bereich, wo gerade viel Fortschritt gemacht wird.“

Auf die Frage, inwiefern die Forschungsergebnisse einen Durchbruch darstellen:
„Das ist sicherlich ein wichtiger Schritt vorwärts. So wie es ihn circa alle 6 Monate gibt. (Nicht etwa so wie AlphaZero: alle 10 Jahre).“

„Es wird uns ermöglichen, komplexere Probleme zu lösen, die eine längere Reihenfolge von Entscheidungen bis zur Lösung verlangen. Algorithmen, die auf dem Verstärkenden Lernen beruhen, haben ein enormes, weitgehend unerforschtes Anwendungspotential für alle Arten von Entscheidungsproblemen in der Industrie. Ein Hauptgrund ist die oft noch geringe Effizienz dieser Algorithmen. Der Lösung dieses Problems sind wir dank Go-Explore wieder einen Schritt nähergekommen.“

Auf die Frage, welche Rolle Domain Knowledge für KI spielen wird:
„Wir wissen aufgrund von grundlegenden Überlegungen, dass der Einbau von Domain-Wissen im Prinzip immer zu besserer Performance führt. Allerdings liegen das Ziel und die Herausforderung der KI-Forschung gerade darin, immer Domain-unabhängigere Algorithmen zu entwickeln. Der Grund ist, dass die Akquise von explizitem Domain-Wissen oft sehr kostspielig oder technisch extrem schwierig ist. Im Gegensatz dazu sind generell-intelligente Systeme (wie unser Gehirn) in der Lage, sich solches Wissen implizit selbst anzueignen und damit eine viel größere Bandbreite von Problemen zu lösen.“