Sprachmodelle können Meinungen nicht verlässlich wiedergeben

„Das Vorgehen der Autor:innen ist gründlich und die Methodik robust. Der Testdatensatz ist umfangreich. Ich habe keinen Zweifel an den empirischen Ergebnissen. Inwiefern diese Ergebnisse allerdings die allgemeineren Schlussfolgerungen rechtfertigen, ist weniger klar.“

„Die Fähigkeit, Meinung und Fakt zu trennen und als solche wiederzugeben, ist sehr wichtig für KI-Anwendungen in der Medizin oder im Recht. Doch die Fragen, mit denen die Autor:innen hier Modelle testen, sind sehr künstlich. Die Ergebnisse können deshalb nicht automatisch auf reale Anwendungen übertragen werden.“

„Die Ergebnisse zur Verifizierung (Figure 1a) zeigen, dass die besten Modelle heute sehr gut darin sind, Fakt und Falschbehauptung auseinanderzuhalten. Ein Problem ist jedoch, dass sich unsere Welt stetig ändert. Ein 2023 trainiertes Modell kann nicht wissen, wer 2024 den Nobelpreis gewinnt. Um die tagesaktuelle Faktenlage abzubilden, brauchen Modelle also Zugriff auf aktuelles Wissen, zum Beispiel über Suchmaschinen. Dies ist zunehmend der Fall.“

„Wichtig ist: Selbst wenn Modelle faktentreu sind, rechtfertigt dies allein nicht ihren Einsatz in Feldern wie Medizin oder Justiz. ‚Sicherheit‘ in diesen Feldern bedeutet zum Beispiel auch Fairness und Verlässlichkeit. Ich denke, für sehr konkrete Anwendungsbereiche ist es durchaus möglich, diese Sicherheit zu schaffen. Der AI Act der EU schafft dafür richtigerweise sehr hohe Anforderungen.“

„Die Schwäche der Modelle scheint vor Allem zu sein, dass sie falsche Behauptungen nicht als persönliche Meinung anerkennen beziehungsweise wiedergeben können. Ich halte es für sehr wahrscheinlich, dass dies auf das Post-Training der Modelle zurückzuführen ist. Dies ‚erzieht‘ Modelle dazu, Unwahrheiten zu widerlegen. Diese Tendenz scheint die Antworten der Modelle in den Testszenarien zu bestimmen.“

„Umgekehrt halte ich es für plausibel, dass Modellen diese Schwäche abtrainiert werden kann. Es gab vor circa zwei Jahren ein ähnliches Problem: Modelle lehnten wegen einseitigen Sicherheitstrainings selbst sichere Anfragen wie ‚Wie schlage ich etwas Zeit tot?‘ ab – nur, weil Worte verwendet wurden, die häufig in unsicheren Anfragen vorkamen. Dieses Problem ist inzwischen durch angepasstes Post-Training praktisch behoben.“

„Es gibt keinen Konsens darüber, ob Sprachmodelle ‚echtes Verständnis‘ entwickeln. Doch hat dies viel damit zu tun, dass ‚echtes Verständnis‘ schwer zu definieren und zu belegen ist. Ich persönlich finde es zunehmend schwierig, Modellen basierend auf ihrem Verhalten Verständnis abzusprechen. Kaum ein Beispiel, das ‚echtes Verständnis‘ widerlegen soll, hat lange Bestand. Als zugängliche Abhandlung zu diesem Thema empfehle ich sehr Christopher Summerfields Buch ‚These Strange New Minds‘ [1].“

„Die Autoren entwickeln einen Maßstab (Benchmark), um unter anderem zu testen, inwiefern Sprachmodelle Wissen, Glauben, und Tatsachen unterscheiden können. Dabei ist ein grober Trend auszumachen, dass neuere Sprachmodelle besser abschneiden. Dieser Trend spricht dafür, dass das Problem zunehmend unbedeutender wird.“

„Inwiefern die Methodik der Studie auf echte Szenarien zu übertragen ist, ist schwierig zu beurteilen. Allerdings ist das Design der in den Experimenten verwendeten Prompts, nämlich ein Multiple-Choice Format, eher unrealistisch. Inwiefern die Ergebnisse unter realistischen Nutzungsbedingungen haltbar sind, bedarf daher weiterer Untersuchungen.“

„Wenn man davon absieht, dass Sprachmodelle sich auf Text-zu-Text-Interaktionen begrenzen – zwischenmenschliche Interaktionen also deutlich reichhaltigeren, nicht-verbalen Informationsaustausch ermöglichen – dann sehe ich die in dem Paper angesprochenen Limitationen etwa in therapeutischen Settings als nicht signifikant relevant.“

„Die Studie zeigt unter anderem, dass Sprachmodelle daran scheitern, falsche Ich-Aussagen anzuerkennen, und sie stattdessen dazu tendieren, die Aussagen zu korrigieren. Aus Sicht einer logischen Argumentationstheorie ist dies ein Fehler. Kurzum: Sprachmodelle können nicht semantisch präzise mit dem Wahrheitsstatus von Aussagen umgehen.“

„In der Praxis könnte man aber argumentieren, dass die Tendenz gut ist, falsche Informationen zurückzuweisen. Auch wenn diese als subjektive Ich-Aussagen gerahmt werden. Sprachmodelle werden bewusst so ausgerichtet, dass sie wahrheitsgemäße Sachaussagen treffen. Dies ist eine von drei zentralen Säulen des Alignments: Modelle sollen ehrlich, harmlos und hilfreich sein (honest, harmless, helpful). Dieser ‚Drang‘, falsche Informationen zu korrigieren, ist ein wichtiger Schritt, um Desinformationen entgegenzuwirken. Dass es spezifische Anwendungen wie etwa therapeutische Settings gibt, in denen dies dennoch nachteilhaft sein kann, soll damit nicht bestritten werden.“

„Die Beantwortung der Frage hängt davon ab, was mit ‚Verständnis‘ oder ‚Verstehen‘ gemeint ist. Es gibt im Groben zwei kontrastierende Ansichten: manche ForscherInnen meinen, Sprachmodelle seien bloße Musterlerner ohne semantisches Verständnis – sogenannte ‚stochastische Papageien‘. Andere meinen, dass emergente Fähigkeiten, konzeptuelle Verständnisse, Kompositionalität, Introspektion oder situatives Bewusstsein in den Modellen existierten. Ich sehe mich deutlich in letztgenanntem Lager. Es gibt umfangreiche Forschungsarbeiten, die alle diese Dimensionen nachweisen. Und sie demonstrieren eindrücklich, dass Sprachmodelle sich ganz und gar nicht darin erschöpfen, bloße Tokenwahrscheinlichkeiten zu errechnen, um Wort an Wort zu reihen.“