Automatische Autos schneller entwickeln in virtueller Welt

„Simulationstechnik wird seit Jahren bei der Entwicklung von autonomen Fahrzeugen verwendet. Sehr häufig wird die erste Variante einer Software zuerst im Labor virtuell getestet, bevor das echte Auto automatisch gefahren wird. Firmen wie Tesla und Waymo erfassen alle Sensordaten aus ihren Fahrten mit Prototypen und spielen sie nochmals im System durch, typischerweise, um Fehler im Labor gründlich zu analysieren. Deswegen sagen die Ingenieure von Waymo, dass ihre Autos mehr im Labor als auf der Straße fahren.“

„Die Idee der chinesischen Forscher geht zwar etwas weiter, ist aber nicht gerade neu. Es werden Daten von Videokameras und Lidar beim Fahren erfasst und gemischt mit virtuellen Objekten wie Autos beziehungsweise Passanten. Es ist Photoshoppen bei laufenden Datenströmen. So kann ein Prototyp Passanten in den Kameras sehen, wo keine Passanten sind, oder einem Auto auf der Autobahn folgen, das nicht real vorhanden ist, aber dessen Punktwolke zu den Datenströmen hinzugefügt wurde.“

„So können Ingenieure auf der leeren Autobahn testen, was der Prototyp zum Beispiel gemacht hätte, falls links und rechts die Spur nicht frei gewesen wäre. Es gibt sogar bereits kommerzielle Systeme, die Daten aus Videokameras in Echtzeit verändern, so dass Regen oder pralle Sonne simuliert werden können. Eine Autofirma wie Volvo, die in Schweden ein Testgelände im Form einer kleinen Stadt unterhält, kann mit solchen Techniken das leere Testgelände mit Passanten und dichtem Verkehr ausfüllen, um die Güte der Navigations-Software zu testen. So können auch schwierige Verkehrssituationen getestet werden ohne Personen zu gefährden. Dies wird auch von den Hauptakteuren auf dem Gebiet bereits gemacht.“

„Der Ansatz hier verbindet zwei Techniken, die bisher zumeist getrennt eingesetzt werden:A) Die Verwendung von Sensor-Daten aus Aufzeichnungen realer Testfahrten, die heute zumeist in sogenannten Open-Loop-Tests verwenden werden. Damit kann die Wahrnehmungstechnik (von Sensorsignalverarbeitung bis zum Erstellen einer Situationsbeschreibung) getestet werden.B) Virtuelle Testwelten mit rein synthetischen Daten, die Closed-Loop-Tests erlauben, das heißt, die Daten werden in jedem Simulationsschritt abhängig von der aktuellen Fahrzeugposition und -orientierung berechnet. So zeigen die so erzeugten Kamera- und Lidar-Bilder nach einer Entscheidung zu einem Fahrstreifenwechsel eine andere Perspektive als bei einem Verbleiben auf dem aktuellen Fahrstreifen.“

„Für End-to-End-Learning-Algorithmen ohne eine Zwischenebene der Situationsbeschreibung versagen beide: Die rein virtuelle Testumgebung kann noch keine hinreichend realistischen Sensorbilder erzeugen, die für Deep-Learning-Algorithmen die Eingangsdaten sind, und für das End-to-End-Training sind Closed-Loop-Welten zwingend notwendig.“

„Das vorgestellte Verfahren führt nun beide Welten zusammen, ohne aber schon alle Vorteile mitnehmen zu können, da beispielsweise die dynamischen Objekte (Verkehrsteilnehmer) weiterhin ‚nur‘ synthetisch generiert werden und die Realdaten ‚ausgebessert‘, nur für ‚normale‘ Wetterbedingungen und ohne Radardaten aufgezeichnet sind. Es ist ein substanzieller Schritt auf einem noch langen Weg.“

„Weder die Straßentests allein noch die virtuellen Tests sind in der Lage, die Sicherheit auf dem Zielniveau abzuprüfen. Für Straßentests wären circa 10 Milliarden von Kilometern notwendig, etwa so viel, wie eine Million Fahrzeuge in zwei Jahren auf der Autobahn fahren. Die virtuellen Tests sind eine hervorragende Ergänzung, wenn sie als valide zertifiziert wären. Aber davon sind wir auch noch weit entfernt. Wir werden nicht umhinkommen, automatisierte Fahrzeuge ‚auf Bewährung‘ in den Verkehr zu bringen. Nach vielleicht fünf Generationen der Technik (circa 20 Jahre) werden wir endlich wissen, was zu einem hinreichenden Test erforderlich ist. Dieser wird dann zu einem sehr großen Teil im Computer stattfinden. Bis dahin wird es eine Mischung aus Fahrtests und Simulationen sein, die wiederum auf Testgeländen validiert werden müssen.“

„Das Paper zeigt einen interessanten neuen Ansatz, hat aber einige signifikante Limitierungen. Es basiert darauf, aus aufgenommenen Bildern der Umgebung (zusammen mit Lidar-Daten) neue Ansichten generieren zu können, die bessere Qualität haben als rein synthetisch generierte Szenen. Ein Problem dabei ist, dass man bei den neuen Bildern entweder auf exakt die Bewegung durch die Umgebung beschränkt ist, die bei der Aufnahme gefahren wurde, oder alle bewegten Objekte eliminieren muss (die sich sonst falsch bewegen würden). Im Paper wird Zweiteres vorgeschlagen, aber gar nicht evaluiert, wie gut das tatsächlich funktioniert. Inpainting (Bildbearbeitung, die verlorene Teile einer Aufnahme rekonstruieren soll; Anm. d. Red.) ist nach wie vor ein Forschungsthema und zeigt immer wieder Artefakte, insbesondere, wenn es um Konsistenz bei bewegten Szenen geht (wie hier).“

„Die Evaluation ist auch problematisch: So wurden für Figur 5 zusätzliche synthetische Bilder in das in der Studie verwendete Trainingset für AADAS-2400 aufgenommen und eine kleine Verbesserung (+1 Prozent) gefunden. Bessere Ergebnisse in einem ähnlichen Setup wurden aber bereits mit synthetischen Daten aus GTA-4 (Computerspiel Grand Theft Auto 4; Anm.d.Red.) vor zwei Jahren erreicht (+2,6 Prozent). Außerdem werden Ergebnisse fast immer besser wenn man einfach neue Daten hinzunimmt, die nicht völlig daneben sind.“

„Insgesamt ist das zwar ein interessanter Beitrag (vor allem die vielen annotierten Daten), ich bin aber skeptisch, dass das Paper wegen seiner Restriktionen uns wesentlich weiter bringt. Es muss weiterhin das Ziel sein, hoch-realistische Szenen rein synthetisch generieren zu können (gegebenenfalls mit etwas Transfer-Learning). Die hier vorgestellte Ansätze können aber sehr hilfreiche Grundlagen sein, solche 3D-Modelle zu erzeugen (zum Beispiel die auch generierten Trajektorien).“