Künstliche Intelligenz – Optik soll künstliche Neuronale Netze verbessern

„Der aktuelle Trend um ‚Deep Learning‘ bringt faszinierende Dinge an die Oberfläche, so in der aktuellen Ausgabe von Science etwa ein ‚komplett optisches neuronales Netz‘. Dabei handelt es sich um die physische Implementierung eines am Computer fertig trainierten künstlichen neuronalen Netzes: Jede ‚Schicht‘ des Netzes wird durch eine mehr oder weniger das Licht durchlassende und lichtbeugende Platte realisiert, wie man sie etwa aus speziellen 3D-Druckern beziehen kann. Ein zu klassifizierendes Bild wird nun wie ein Dia vor den Stapel von Platten gehalten und belichtet. Die Projektion des Bildes nimmt ihren Weg durch die Platten, wobei das Licht anhand der im Training festgelegten Routen auf einen bestimmten Bereich am Ende des Stapels geleitet wird. Welcher Bereich am meisten erleuchtet wird, bestimmt, was auf dem Bild erkannt wurde.“

„Was auf den ersten Blick als faszinierende Anwendung von Ingenieurskunst erscheint, birgt auf den zweiten Blick viele Einschränkungen: Als größte Errungenschaft wird die schnelle Klassifikation (‚Lichtgeschwindigkeit‘) und der geringe Energieverbrauch gegenüber dem Berechnen auf einem Computer angeführt. Aber auch das Belichten der Bilder mit einer Terahertz-Lichtquelle benötigt Energie, und gegenüber dem aufwendigen – und hier unverändert notwendigen – Trainieren von neuronalen Netzen am Computer ist die spätere Anwendung energetisch und geschwindigkeitstechnisch kein großes Problem in der Praxis. Demgegenüber stehen größere Einschränkungen bei der Flexibilität der Netzwerkart und der erzielbaren Leistung durch die optische Implementierung. Auf praktische Anwendungen – und den Nachweis deren Sinnhaftigkeit – werden wir daher wohl noch eine Weile warten müssen.“

„In dem Science-Artikel ,All-optical machine learning using diffractive deep neural networks‘ stellen die Autoren aus Los Angeles ein neues physikalisches Verfahren vor, um Neuronale Netze zu lernen und dann ,mit Lichtgeschwindigkeit‘ auf gegebene Eingaben rechnen zu lassen. Es ist zu beachten, dass sich der Fortschritt im ersten Moment besser anhört, als er tatsächlich ist.“

„Das Rechnen mit Lichtgeschwindigkeit bezieht sich nur auf vortrainierte Netze, die mit 3D-Druckern auf recht große – 8x8 cm – Flächen aufgedruckt werden. Vorher muss das Netz jedoch in einem Modell-Framework trainiert werden, bei dem veränderliche Diffraktions-Layer – das sind Schichten ähnlich zu verschiedenen nacheinander verknüpften Kamera-Linsen – iterativ angepasst werden, analog zum Trainieren von normalen Neuronalen Netzen. Erst wenn das Netz fertig trainiert ist, wird es gedruckt und kann mit Lichtgeschwindigkeit verwendet werden.“

„Durch die aktuell sehr große Fläche ist es unklar, wie schnell die Berechnung dann tatsächlich dauert. Im Artikel wird zwar angegeben, dass eine Frequenz von 400 GHz möglich ist – was über den üblichen 2 bis 3 GHz von GPUs (Prozessoren für Grafikkarten, Anm. d. Red.) liegt –, jedoch werden keine Rechenzeiten angegeben. Anhand dieses Artikels ist es also unmöglich festzustellen, wie praktisch das Verfahren derzeit ist. Zum Vergleich: Das vorgestellte Netz trainiert auf einer Standard-GPU binnen weniger Sekunden und ist selbst im Web-Browser [1] innerhalb weniger Minuten sehr gut.“

„Ein wesentlicher genereller Kritikpunkt der Arbeit ist, dass sie rein aufgrund des Forschungspapieres nicht reproduzierbar ist. Es fehlen mathematische Formulierungen, Angabe der Lernparameter und Details zu den Experimenten.“

„Auch besteht noch das Problem, dass die Ergebnisse des 3D-gedruckten Netzes von den im Framework erstellten Ergebnissen abweichen – und zwar in fünf bzw. sechs von 50 Beispielen. Ein Refinement des Frameworks ist daher notwendig, sowie eine Untersuchung mit deutlich mehr Klassen (1000 Klassen, oder mehr). Dort könnte der Fehler gravierender werden.“

„Trotz all der Kritikpunkte ist es jedoch ein interessantes Verfahren und könnte ein wichtiger Meilenstein in Richtung optischer Neuronaler Netze sein, der in naher Zukunft noch schnellere und tiefere Neuronale Netze ermöglicht. Da meine physikalischen Kenntnisse zu gering sind, kann ich leider nicht viel zur Neuigkeit des Verfahrens sagen. Derzeit lässt sich ein solches Neuronales Netz praktisch noch nicht einsetzen, könnte jedoch in Zukunft nach einigen Verbesserungen und Verkleinerungen der Architektur in Kameras (auch von Mobiltelefonen) eingesetzt werden, um die Echtzeitbearbeitung noch weiter zu beschleunigen – derzeit sind FPGAs z. B. für Gesichtserkennung im Einsatz. Ein merklicher Unterschied ist jedoch fraglich. Wenn sich die Technologie jedoch irgendwann skalieren lässt, könnte es allgemein das Problem des hohen Ressourcenverbrauchs von Deep Learning eindämmen.“