Zum Hauptinhalt springen
12.10.2020

Der Textgenerator GPT-3 von OpenAI – Hype oder Paradigmenwechsel?

Anlass

Ein Algorithmus kann Texte vervollständigen und erweckt den Anschein, Sprache zu verstehen. Der Name des Sprachmodells ist GPT-3 und es stammt vom Unternehmen OpenAI, das den Textgenerator Ende Mai vorgestellt hat [1]. Das Unternehmen hat die Vision, eine allgemeine künstliche Intelligenz zu entwickeln. Ist GPT-3 ein Schritt in diese Richtung?

GPT-3 – kurz für Generative Pre-trained Transformer 3 – ist das dritte von OpenAI in der GPT-Serie veröffentlichte Sprachmodell. Sprachmodelle werden auf sehr großen Textmengen mit der Aufgabe trainiert, das jeweils folgende Wort in einem Text vorherzusagen. Um diese Aufgabe erfolgreich zu meistern, müssen Sprachmodelle nicht nur syntaktische Abhängigkeiten über Wort- und Satzgrenzen hinweg lernen, sondern auch ein gewisses „Weltwissen“ aufbauen, wenn sie Sätze vervollständigen sollen, wie „Die Hauptstadt von Deutschland ist _“.

Das trainierte Modell GPT-3 mit aktuell 175 Milliarden Parametern kann dazu genutzt werden, neue Texte zu erstellen beziehungsweise zu vervollständigen. GPT-3 kann mit einer kleinen vorgegebenen Anzahl an passenden Beispielen unterschiedliche Arten von Aufgaben zu erfüllen: Antworten auf Fragen geben, Texte vervollständigen, zusammenfassen oder übersetzen, in bestimmten Stilen schreiben, Programmiercode verfassen oder Tabellen mit fehlenden Informationen komplettieren. Es ist also nicht auf normalsprachliche Texte beschränkt, sondern kann auch mit künstlichen Sprachen, wie Programmiersprachen, umgehen [2, 3]. Nach anfänglichem Hype wurde aber auch klar, dass in vielen Fällen noch ein Mensch zum Kuratieren nötig ist. Viele Texte wirkten zunächst beeindruckend und schwer von menschengemachten zu unterscheiden – bei der Generierung der Texte hatten aber in den meisten Fällen Menschen die passenden Antworten ausgewählt und zu einem Text zusammengesetzt. Auch ausgegebener Code muss in der überwiegenden Mehrheit der Fälle nachbearbeitet werden. Trotz allem sind die Anwendungsmöglichkeiten breitgefächert und die Ergebnisse beeindruckend.

Bei der Veröffentlichung des Vorgängermodells GPT-2 machte OpenAI Schlagzeilen damit, dass sie das vollständige Modell erst nicht veröffentlichten, da sie Missbrauch fürchteten [4]. Im Fall des viel potenteren GPT-3 können sich Interessenten allerdings bei OpenAI dafür bewerben, das Modell zu benutzen. Eine kommerzielle Nutzung ist auch möglich – man kann sich also den Zugang zu GPT-3 kaufen [5]. Darüber hinaus hat Microsoft sich bereits exklusiven Zugriff gesichert [6]. 

Ist GPT-3 nun ein großer Durchbruch, oder ist der Hype übertrieben? Wie groß ist die Gefahr, die von GPT-3 bei missbräuchlicher Verwendung ausgeht? Wie lernt das Modell genau und kann man die Ergebnisse als ersten Schritt Richtung allgemeiner künstlicher Intelligenz bezeichnen? Wie sieht die weitere Zukunft dieser Technologie aus? Und wie sind das Sprachmodell selbst und OpenAIs Geschäftsmodell aus ethischer Perspektive zu beurteilen?

Diese Fragen – und Ihre! – beantworten die Expertinnen und Experten in einem 50-minütigen virtuellen Press Briefing.

Experten auf dem Podium

     

  • Prof. Dr. Kristian Kersting
    Leiter des Fachgebiets Maschinelles Lernen, Technische Universität Darmstadt
  •  

  • Prof. Dr. Hinrich Schütze
    Inhaber des Lehrstuhls für Computerlinguistik und Direktor des Centrums für Informations- und Sprachverarbeitung, Ludwig-Maximilians-Universität München (LMU), München
  •  

  • PD Dr. Jessica Heesen
    Leiterin des Forschungsschwerpunkts Medienethik und Informationstechnik, Internationales Zentrum für Ethik in den Wissenschaften, Eberhard Karls Universität Tübingen
  •  

Video-Mitschnitt & Transkript

Das aufgezeichnete Webinar finden Sie hier im Webinar-Programm selbst. Um es anzuschauen, müssen Sie eine E-Mail-Adresse eingeben.

Ein Transkript finden Sie hier.

Quellen, die vom SMC zitiert wurden

[I] Brown TB et al. (2020): Language Models are Few-Shot Learners. arXiv.

[II] OpenAI (2020): OpenAI technology, just an HTTPS call away.

[III] Sharif Shameem auf Twitter (13.07.2020).

[IV] OpenAI (2019): Better Language Models and Their Implications. OpenAI Blog.

[V] OpenAI (2020): OpenAI API. OpenAI Blog.

[VI] OpenAI (2020): OpenAI Licenses GPT-3 Technology to Microsoft. OpenAI Blog.