Rechtswissenschaftliche Einordnung: Chatbots als Erstkontakt bei medizinischen Fragen

„Das Training von Sprachmodellen mit Gesundheitsdaten unterliegt insbesondere den datenschutzrechtlichen Anforderungen der Datenschutz-Grundverordnung (DSGVO). Besonders herausfordernd ist hier, dass Daten selbst dann als Gesundheitsdaten gelten können, wenn auch nur irgendwelche Rückschlüsse auf die Gesundheit des Betroffenen möglich sind. Das liegt an der weiten Auslegung der Definition durch den Europäischen Gerichtshof (EuGH). Die Daten gelten dann als besonders sensible Daten und ihre Verarbeitung ist nach Artikel 9 Absatz 1 DSGVO grundsätzlich verboten. Nur in konkret definierten Ausnahmen wird sie wieder erlaubt.“

„Die derzeit wohl rechtssicherste, wenn auch nur bedingt praktikable Lösung, dürfte daher die Einholung einer ausdrücklichen Einwilligung sein. Denn es fehlt an ausreichend spezifischen Gesetzesvorschriften, die konkrete Anforderungen an die Verarbeitung von sensiblen Gesundheitsdaten zum Training von Modellen künstlicher Intelligenz (KI) aufstellen. Die im nationalen Recht bestehenden Vorschriften des Gesundheitsdatennutzungsgesetzes (GNDG) können aber unter bestimmten Voraussetzungen eine Erleichterung darstellen. Perspektivisch werden mit der Verordnung zum European Health Data Space (EHDS-VO) weitere Erleichterungen eingeführt.“

„Der bestmögliche Datenschutz wäre theoretisch die Nutzung vollständig anonymisierter Daten. In der Praxis wird eine solche Anonymisierung aber wohl oft dazu führen, dass die Daten für das Training von KI-Modellen unbrauchbar werden. Denn je mehr Daten über eine Person zur Verfügung stehen, desto einfacher ist es, Rückschlüsse auf deren Identität zu ziehen. Das gilt, selbst wenn der Name entfernt wird. Zur Sicherstellung eines ausreichenden Datenschutzes sollten die Daten aber jedenfalls pseudonymisiert und durch weitere technische und organisatorische Maßnahmen geschützt werden. Auch sollte nach Möglichkeit sichergestellt werden, dass das trainierte Modell gegenüber etwaigen Angriffen geschützt wird. Diese versuchen, etwa durch geschickt gewählte Anfragen, Rückschlüsse auf die Trainingsdaten zu ziehen.“

„Eine Einwilligung ist grundsätzlich möglich, bereitet jedoch praktische Probleme. Das liegt daran, dass sie eine ausreichende Informiertheit voraussetzt und spezifisch sein muss. Gerade bei komplexen KI-Systemen wird aber eine ausreichende Informiertheit über die spätere Nutzung der Daten zum Weitertraining nur schwer sicherzustellen sein.“

„Ein berechtigtes Interesse nach Artikel 6 DSGVO allein reicht bei der Verarbeitung sensibler Gesundheitsdaten nicht aus, da zusätzlich die strengen Voraussetzungen des Artikel 9 DSGVO zu erfüllen sind. Denkbar wäre im Gesundheitsbereich eine Verarbeitung im erheblichen öffentlichen Interesse. Die DSGVO lässt dies aber nur mit einer zusätzlichen gesetzlichen Grundlage im EU-Recht oder im nationalen Recht zu. Die ist aber häufig nicht gegeben. Ein ‚offensichtliches Öffentlichmachen‘ von Daten durch Nutzende würde die Verarbeitung ermöglichen. Allerdings wird sich die Eingabe sensibler Gesundheitsdaten in ein KI-System nicht als ‚offensichtliches Öffentlichmachen‘ der Daten durch die Nutzenden verstehen lassen. Insgesamt ist ein rechtmäßiges Weitertraining möglich. Eine wirkliche Rechtssicherheit wäre aber erst mit der Einführung entsprechender gesetzlicher Grundlagen gegeben.“

„Die Adressaten und der Umfang der Haftung beim Einsatz von KI-Systemen sind in den Einzelheiten noch Gegenstand der rechtlichen Diskussion. Der KI-Verordnung (AI Act) folgend werden wohl primär Anbieter und Betreiber von KI-Systemen haften und Entwickler zumindest mittelbar haften. Im medizinischen Kontext dürften zukünftig insbesondere die Reichweite etwaiger Haftungsausschlüsse und Informationspflichten von besonderer Bedeutung sein.“

„Die rechtlichen Vorgaben, die die Produktsicherheit gewährleisten, lassen sich verteilt in einer Vielzahl von Gesetzen finden. Sie unterscheiden sich nach dem jeweiligen Risiko. Für KI-Systeme im Gesundheitsbereich werden sich diese wohl insbesondere aus der KI-Verordnung, der Produkthaftungsrichtline sowie dem Produkthaftungsgesetz und der Medizinprodukteverordnung ergeben.“

„Zum jetzigen Stand ist noch nicht absehbar, in welchem Umfang nachgearbeitet werden muss. Das liegt an der Neuheit vieler Vorschriften. Angesichts der Diskussionen in der juristischen Literatur und verschiedener gesetzgeberischer Bestrebungen – wie beispielsweise die mittlerweile aufgegebene KI-Haftungs-Richtlinie – steht jedoch zu erwarten, dass eine Nachbearbeitung in den kommenden Monaten und Jahren erforderlich sein wird, sobald auf erste substanzielle Erfahrungen zurückgegriffen werden kann.“

„Für das Training von Sprachmodellen mit personenbezogenen Gesundheitsdaten braucht es stets eine stabile Rechtsgrundlage. Diese findet sich in den Artikeln 6 und 9 der Datenschutz-Grundverordnung (DSGVO). Im Business-to-Consumer-Kontext eines Gesundheitschatbots wird dafür regelmäßig nur eine ausdrückliche, informierte und freiwillige Einwilligung nach Artikel 9 Absatz 2 lit. a DSGVO in Form eines Broad Consent (weitreichende Einwilligung von Patientinnen und Patienten in eine anlasslose Sammlung, Speicherung, Lagerung von Daten, Anm. d. Red.) die rechtlich tragfähigste Lösung sein – sie ist juristisch umkämpft, aber zulässig. Artikel 9 Absatz 2 lit. h DSGVO deckt eher die Behandlungssituation durch Gesundheitsberufe ab. Dient das Training der Chatbots echten wissenschaftlichen Forschungszwecken, kommt als Rechtsgrundlage auch Artikel 9 Absatz 2 lit. j DSGVO in Betracht. Dies gilt allerdings nur mit Garantien: insbesondere Pseudonymisierung und strenge Zweckbindung. Das ist in Artikel 89 der DSGVO festgehalten.“

„Ausreichender Datenschutz entsteht nicht durch einen bloßen Disclaimer, sondern durch ein Regelungspaket aus Datenminimierung, Transparenz, Integrität und Vertraulichkeit. Außerdem braucht es Datenschutzfolgenabschätzungen sowie eine klare Trennung zwischen laufendem Betrieb des Dienstes und Trainingszwecken.“

„Technisch sprechen sich die meisten Beiträge in der Literatur für eine Anonymisierung aus – soweit dies real möglich ist. Dann ist die DSGVO a priori nicht anwendbar. Außerdem spricht sich die Literatur für Privacy-by-Design-Ansätze aus (Technologiedesign, das die Privatsphäre der Nutzenden schützt; Anm. d. Red.). Dazu zählen Federated Learning, Reduktion identifizierender Angaben und restriktive Drittlandtransfers. Gerade bei großen Sprachmodellen für Gesundheitsfragen gilt deshalb: nur so viel personenbezogene Gesundheitsinformation wie nötig, nur für klar benannte Zwecke und nur in einer Architektur, die Re-Identifikation, Bias und Datenabfluss aktiv begrenzt.“

„Sollen Nutzendeneingaben später zum Weitertraining verwendet werden, ist das datenschutzrechtlich regelmäßig ein neuer Zweck. Es darf nicht stillschweigend im Behandlungs- oder Nutzungsverhältnis ‚mitlaufen‘. Die Einwilligung muss dafür grundsätzlich getrennt, ausdrücklich, granular und widerruflich sowie für die Zukunftseinsatzzwecke im Zweifel offen (broad consent) ausgestaltet sein. Sie muss also etwa getrennt nach Betrieb des Chats, Speicherung der Historie, Modellverbesserung und möglicher Weitergabe an Dritte fragen. Wirksam ist sie nur, wenn die Betroffenen eine echte Wahl haben.“

„Bei Gesundheitsdaten schlägt das Kopplungsverbot besonders scharf zu. So spricht ein Zwang ‚Nutzung nur gegen Training‘ regelmäßig gegen die Freiwilligkeit. Zugleich müssen Anbieter verständlich erklären, welche Daten in das Training fließen. Außerdem müssen sie mitteilen, zu welchem Zweck Daten erhoben, an wen sie übermittelt werden, wie lange sie gespeichert bleiben und ob Drittlandtransfers stattfinden.“

„Praktisch überzeugt daher am ehesten ein echtes Opt-in mit standardmäßig ausgeschaltetem Training, dokumentierter Zustimmung, einfacher Widerrufsmöglichkeit und technischer Trennung der Trainingspipeline vom laufenden Betrieb. In klinischen Konstellationen kann die Behandlung selbst zwar oft ohne Einwilligung auf Artikel 6 Absatz 1 lit. b i.V.m. Artikel 9 Absatz 2 lit. h DSGVO gestützt werden, für das zusätzliche Weitertraining derselben Daten gilt das aber gerade nicht automatisch.“

„Haftet jemand wegen negativer medizinischer Folgen, läuft die Verantwortlichkeit rechtlich nicht monolithisch. Sie läuft entlang der Rollen von Anbieter, Betreiber und – im Behandlungskontext – Arzt oder Einrichtung.“

„Bei allgemeinen Modellen wie ChatGPT ist die Produkthaftung nach heutigem Recht für reine SaaS-Konstellationen (Software-as-a-Service, cloudbasierte Software; Anm. d. Red.) noch weniger trennscharf. Deshalb werden Ansprüche derzeit vor allem über Vertrag, Delikt und Verkehrssicherungspflichten diskutiert. Je stärker der Anbieter den Output als eigene medizinische Leistung rahmt – etwa durch Symptom-Triage, Dosierungshinweise oder Therapieanmutung –, desto eher steigen Sorgfalts-, Warn- und Kontrollpflichten.“

„Bei spezialisierten symptom- oder diagnosebezogenen Anwendungen wie ADA ist die Nähe zum Medizinprodukt deutlich höher. Deshalb nehmen Herstellerpflichten aus der Medical Device Regulation (MDR) und KI-Verordnung (KI-VO) und die Erwartung an klinische Validierung, Risikomanagement und menschliche Aufsicht deutlich zu.“

„Im ärztlichen Einsatz bleibt zusätzlich der Behandler haftungsrechtlich in der Pflicht, denn er darf KI-Ergebnisse nicht blind übernehmen. Stattdessen muss er sie medizinisch plausibilisieren und validieren. Künftig dürfte die Haftung für Hersteller nochmals schärfer werden. Das liegt daran, dass die neue Produkthaftungsrichtlinie Software klarer erfasst, Beweiserleichterungen stärkt und Sicherheitsverstöße gegen MDR oder KI-VO näher an den Fehlerbegriff heranrückt.“

„Aktuell soll die Produktsicherheit vor allem durch das Zusammenspiel von DSGVO, MDR und des Medizinprodukterecht-Durchführungsgesetzes (MPDG) sowie der KI-VO gewährleistet werden. Bei Medizinprodukten treten vor allem die CE-Konformitätsbewertung, die klinische Bewertung, die Vigilanz und die Marktüberwachung nach vorne.“

„Hinzu kommt, dass Medizinprodukte klassifiziert werden. Das bedeutet für Software nach Anhang VIII Regel 11 der MDR stets mindestens die Klasse IIa (Medizinprodukt mit mittlerem Risiko; Anm. d. Red.). Die Klassifizierung ist ein Verfahren vor einer benannten Stelle mit einer Produktspezifität zu einem bestimmten Zeitpunkt. Daher sind Lern- und Updateprozesse rechtlich heikel. Denn wesentliche Änderungen lösen neue Bewertungsfragen aus.“

„Für Hochrisiko-KI verlangt die KI-VO insbesondere Risikomanagement, hochwertige Trainings-, Validierungs- und Testdaten, technische Dokumentation, Transparenz und menschliche Aufsicht. Nachgearbeitet werden muss vor allem an der Schnittstelle zwischen KI-VO und MDR. Denn Doppelprüfungen, unklare Zuständigkeiten und der Umgang mit dynamisch lernenden Systemen verkomplizieren die Praxis derzeit unnötig.“

„Hinzu kommt, dass die neue EU-Produkthaftungsrichtlinie zwar beschlossen ist, aber erst bis zum 9. Dezember 2026 in nationales Recht umgesetzt werden muss. Damit ist das Haftungsregime gerade noch im Übergang begriffen.“

„Mein juristischer Kurzbefund lautet daher: Das Sicherheitsrecht ist aktuell keineswegs regelungslos, aber für generative Medizin-KI noch zu wenig harmonisiert. Das gilt insbesondere bei Updates, kontinuierlichem Lernen und der Verzahnung von Sicherheits- und Haftungsrecht. Es braucht eine sachgerechte Lösung, damit lernende Modelle nicht ständig rezertifiziert werden müssen und trotzdem adäquat überwacht werden.“

„Rechtlich sauber grenzt man den Chatbot über Zweckbestimmung, Außendarstellung und Grad der Individualisierung ab: Allgemeine Information und Gesprächsunterstützung sind deutlich eher zulässig als individualisierte Diagnose-, Therapie- oder Dosierungsentscheidungen. Ein Chatbot darf daher medizinisches Allgemeinwissen erläutern, Befunde sprachlich einordnen, auf Arztgespräche vorbereiten oder organisatorisch unterstützen, solange er nicht die ärztliche Entscheidung oder Aufklärung ersetzt.“

„Unzulässig oder jedenfalls hochriskant wird es, wenn der Dienst nach seinem Design oder Marketing den Eindruck vermittelt, selbst Heilkunde auszuüben: also Krankheiten festzustellen, Behandlungen festzulegen oder den Arztkontakt funktional zu substituieren. Das Behandlungsvertragsrecht hält ausdrücklich fest, dass Diagnostik, Indikationsstellung, Therapie und die persönliche Aufklärung ärztliche Aufgaben bleiben. KI darf unterstützen, aber nicht die Letztentscheidung übernehmen.“

„Zwar spricht viel dafür, dass Apps nicht unmittelbar dem Heilpraktikervorbehalt unterfallen, weil das Heilpraktikergesetz primär natürliche Personen adressiert. Doch das beseitigt nicht die Risiken, die aus dem Medizinprodukterecht, dem Wettbewerbsrecht und dem allgemeinem Haftungsrecht hervorgehen. Zudem könnte stets argumentiert werden, dass der Produzent oder jedenfalls der Betreiber des Chatbots mittelbar gegen den Heilkundevorbehalt verstößt.“

„Praktisch heißt das: Je mehr der Chatbot individualisiert, steuert, priorisiert und konkrete Handlungsanweisungen für den einzelnen Patienten gibt, desto näher rückt er rechtlich an ärztliche Tätigkeit und reguliertes Medizinprodukterecht heran.“