Der Textgenerator GPT-3 von OpenAI – Hype oder Paradigmenwechsel?

GPT-3 – kurz für Generative Pre-trained Transformer 3 – ist das dritte von OpenAI in der GPT-Serie veröffentlichte Sprachmodell. Sprachmodelle werden auf sehr großen Textmengen mit der Aufgabe trainiert, das jeweils folgende Wort in einem Text vorherzusagen. Um diese Aufgabe erfolgreich zu meistern, müssen Sprachmodelle nicht nur syntaktische Abhängigkeiten über Wort- und Satzgrenzen hinweg lernen, sondern auch ein gewisses „Weltwissen“ aufbauen, wenn sie Sätze vervollständigen sollen, wie „Die Hauptstadt von Deutschland ist _“.

Das trainierte Modell GPT-3 mit aktuell 175 Milliarden Parametern kann dazu genutzt werden, neue Texte zu erstellen beziehungsweise zu vervollständigen. GPT-3 kann mit einer kleinen vorgegebenen Anzahl an passenden Beispielen unterschiedliche Arten von Aufgaben zu erfüllen: Antworten auf Fragen geben, Texte vervollständigen, zusammenfassen oder übersetzen, in bestimmten Stilen schreiben, Programmiercode verfassen oder Tabellen mit fehlenden Informationen komplettieren. Es ist also nicht auf normalsprachliche Texte beschränkt, sondern kann auch mit künstlichen Sprachen, wie Programmiersprachen, umgehen [2, 3] . Nach anfänglichem Hype wurde aber auch klar, dass in vielen Fällen noch ein Mensch zum Kuratieren nötig ist. Viele Texte wirkten zunächst beeindruckend und schwer von menschengemachten zu unterscheiden – bei der Generierung der Texte hatten aber in den meisten Fällen Menschen die passenden Antworten ausgewählt und zu einem Text zusammengesetzt. Auch ausgegebener Code muss in der überwiegenden Mehrheit der Fälle nachbearbeitet werden. Trotz allem sind die Anwendungsmöglichkeiten breitgefächert und die Ergebnisse beeindruckend.

Bei der Veröffentlichung des Vorgängermodells GPT-2 machte OpenAI Schlagzeilen damit, dass sie das vollständige Modell erst nicht veröffentlichten, da sie Missbrauch fürchteten [4] . Im Fall des viel potenteren GPT-3 können sich Interessenten allerdings bei OpenAI dafür bewerben, das Modell zu benutzen. Eine kommerzielle Nutzung ist auch möglich – man kann sich also den Zugang zu GPT-3 kaufen [5] . Darüber hinaus hat Microsoft sich bereits exklusiven Zugriff gesichert [6] .

Ist GPT-3 nun ein großer Durchbruch, oder ist der Hype übertrieben? Wie groß ist die Gefahr, die von GPT-3 bei missbräuchlicher Verwendung ausgeht? Wie lernt das Modell genau und kann man die Ergebnisse als ersten Schritt Richtung allgemeiner künstlicher Intelligenz bezeichnen? Wie sieht die weitere Zukunft dieser Technologie aus? Und wie sind das Sprachmodell selbst und OpenAIs Geschäftsmodell aus ethischer Perspektive zu beurteilen?

Diese Fragen – und Ihre! – beantworten die Expertinnen und Experten in einem 50-minütigen virtuellen Press Briefing.