Der Textgenerator GPT-3 von OpenAI – Hype oder Paradigmenwechsel?
Anlass
Ein Algorithmus kann Texte vervollständigen und erweckt den Anschein, Sprache zu verstehen. Der Name des Sprachmodells ist GPT-3 und es stammt vom Unternehmen OpenAI, das den Textgenerator Ende Mai vorgestellt hat [1] . Das Unternehmen hat die Vision, eine allgemeine künstliche Intelligenz zu entwickeln. Ist GPT-3 ein Schritt in diese Richtung?
GPT-3 – kurz für Generative Pre-trained Transformer 3 – ist das dritte von OpenAI in der GPT-Serie veröffentlichte Sprachmodell. Sprachmodelle werden auf sehr großen Textmengen mit der Aufgabe trainiert, das jeweils folgende Wort in einem Text vorherzusagen. Um diese Aufgabe erfolgreich zu meistern, müssen Sprachmodelle nicht nur syntaktische Abhängigkeiten über Wort- und Satzgrenzen hinweg lernen, sondern auch ein gewisses „Weltwissen“ aufbauen, wenn sie Sätze vervollständigen sollen, wie „Die Hauptstadt von Deutschland ist _“.
Video und Transkript
Das Transkript können Sie hier als PDF herunterladen.
Quellen
Literaturstellen, die vom SMC zitiert wurden
[] Brown TB et al. (2020): Language Models are Few-Shot Learners. arXiv.
[] OpenAI (2020): OpenAI technology, just an HTTPS call away.
[] Sharif Shameem auf Twitter (13.07.2020).
[] OpenAI (2019): Better Language Models and Their Implications. OpenAI Blog.
[] OpenAI (2020): OpenAI API. OpenAI Blog.
[] OpenAI (2020): OpenAI Licenses GPT-3 Technology to Microsoft. OpenAI Blog.
Angaben zu möglichen Interessenkonflikten
Es wurden keine Interessenkonflikte abgefragt.
Angaben zu möglichen Interessenkonflikten
Es wurden keine Interessenkonflikte abgefragt.
Angaben zu möglichen Interessenkonflikten
Es wurden keine Interessenkonflikte abgefragt.

