Künstliche Intelligenz hat die Medizin bereits verändert. Am stärksten dadurch, dass man das Fehlen von Menschlichkeit jetzt damit entschuldigen kann, dass der Einsatz von Künstlicher Intelligenz die Bemühungen um die eigenen Gesundheit um so viel besser machen könne, dass menschliche Fehlbarkeit dabei nur stören würde. Damit werden allerlei Unzulänglichkeiten an der realen Versorgung hilfesuchender Menschen entschuldigt: fehlendes Personal, fehlende Qualifikation, nicht zu den Bedürfnissen passende Versorgungsstrukturen.

Das Problem an dieser Situation ist, dass Künstliche Intelligenz in der Medizin ebenso wie in anderen Lebensbereichen die Versprechen nicht einhält, die von OpenAI, Google, Meta und anderen gegeben werden. Jedenfalls dann, wenn es um die allgegenwärtigen Large Language Models (LLM) geht, die seit 2022 die Diskussion vorantreiben. In der Medizin bedeutet das: Künstliche Intelligenz wird ohne sie beherrschendes Fachpersonal nicht in der Lage sein, unsere medizinische Versorgung zu verbessern.

Kürzestmöglich zusammengefasst: LLM werden halluzinierende Wahrscheinlichkeitsmaschinen bleiben, die komplexe Aufgaben auch in Zukunft nicht werden lösen können. Dabei drohen sie, die Weltwirtschaft ins Wanken zu bringen und — im Gesundheitswesen wie im restlichen Leben — beträchtlichen realen Schaden anzurichten.

Die Chance, die im Gesundheitswesen darin liegt: Es gibt einen Raum für Menschlichkeit in der Medizin. Das Bedürfnis der Menschen, dass dieser Raum sinnvoll gefüllt wird, bietet eine Chance abseits der aktuellen Fokussierung auf den Menschen als vermeintliche Maschine, die nur die Summe ihrer biochemischen metabolischen Gleichungen ist und zu deren Verständnis das Messen möglichst vieler Körperfunktionen und die Übertragung der Messwerte in möglichst bunte und wissenschaftlich wirkende Graphen irgendeinen Mehrwert liefern würde.

Wir müssen Künstliche Intelligenz nutzen, um Informationen und Menschlichkeit zusammenzuführen

Stattdessen kann mit einer Kombination aus dem Wissen um die evidenzbasierte Medizin, die das Leben besser machen kann, und der menschlichen Zuwendung, die Diagnostik und Therapie erst erträglich machen, ein echter Mehrwert geschaffen werden. In der digitalen Welt. Unter Zuhilfenahme von Künstlicher Intelligenz. Aber ohne die Verantwortung den Menschen selbst alleine aufzubürden, sie an die Künstliche Intelligenz abzutreten oder hier wie in der Medizin auf Wunder zu hoffen. Unsere Aufgabe dabei: Wir müssen die Rolle des Human-in-the-loop (HITL) 1 an- und ernstnehmen.

Normalerweise geht es beim Human-in-the-loop darum, dass Menschen durch ihre Interaktion mit Machine-Learning-Modellen den Computern helfen, bessere Entscheidungen zu treffen und damit die gewünschten Ergebnisse zu liefern. Im Zusammenhang mit LLM geht es also vor allem darum, erwünschte Ergebnisse zu erhalten, unerwünschtes Verhalten zu vermeiden und zu verhindern, dass sich die Maschine gegen den Menschen richtet. Im Zusammenhang mit unserer Gesundheit muss es beim Human-in-the-loop darum gehen, dass kein Mensch ohne Einbezug menschlicher Kompetenz mit Informationen alleine gelassen werden darf.

Wenn es um die eigene Gesundheit geht, suchen wir alle verständliche Informationen, die uns in die Lage versetzen, die für unsere Gesundheit bestmöglichen Entscheidungen zu treffen und danach zu handeln.

Das erklärt die Bedeutung von Gesundheitsinformationen und Gesundheitskompetenz. In beiden Bereichen vermitteln LLM die Illusion, sie könnten die Fragen zur eigenen Gesundheit besser beantworten, als das Menschen (z. B. Ärztinnen oder Journalisten) könnten. KI gibt schneller ausführlichere und scheinbar fundiertere Antworten. Der Kern des Problems bleibt: KI versteht nicht und gibt Antworten auf der Basis von Wahrscheinlichkeitsberechnungen (ausführlich hier: 2). Und dabei halluziniert sie auch noch.

Wissenswust ohne klare Empfehlung: Wir suchen Rat statt reiner Information

Das Hauptproblem der Menschen, die nach Gesundheitsinformationen suchen, die ihnen weiterhelfen: Sie gehen in der Flut des verfügbaren Wissens unter, der sie in der digitalen wie der realen Welt ausgeliefert sind. Am Ende wissen sie nicht, was sie aus der deformierten Wissensmasse für ihr Handeln ableiten sollen. Suchergebnislisten und klug klingende KI-Zusammenfassungen erwecken den Eindruck umfassender Information, sie geben aber keinen menschlichen Rat, was eine einzelne Person in einer die eigene Gesundheit bedrohenden Situation tun sollte.

ChatGPT und andere KI-Angebote vermitteln den Eindruck, das Problem sei bereits gelöst: Sie geben Rat, der auch autoritär klingt, selbst wenn an verschiedenen Stellen Disclaimer darauf hinweisen, dass die Antworten Fehler enthalten. In der bisherigen Diskussion überwiegt die Meinung, dass angesichts der Entwicklungsgeschwindigkeit der Künstlichen Intelligenz dieses Problem — das Halluzinieren und die Falschinformation — bald gelöst sein würde. Doch die Stimmen vor allem der Menschen, die LLM und KI erst dorthin gebracht haben, wo sie heute sind und die entschieden die Meinung vertreten, dass es zu diesem nächsten Schritt nicht kommen wird, sondern dass die Entwicklung der heutigen Modelle in einer Sackgasse steckt und nicht zu den gewünschten Zielen führen wird, mehren sich und werden lauter.

Die Debatte hat es in den Mainstream geschafft, zum Beispiel in einer guten und laienverständlichen Zusammenfassung von Felix Stephan in der Süddeutschen Zeitung 3. Im Kern lautet die Botschaft, die zum Beispiel Gary Marcus 4 seit Monaten in seinem Substack mit Beispielen und Belegen unterfüttert: LLM werden nicht stetig immer besser. Und in der Folge werden sie weder die Probleme lösen können, die viele Menschen aktuell mit ihnen zu lösen planen, noch werden sie die Umsatzerwartungen erfüllen, die insbesondere Technologiekonzerne in sie setzen.

In der allgemeinen Diskussion geht es richtigerweise um die Frage, ob das eine neue Dotcom-Blase zur Folge haben wird, die dramatische Folgen für die Weltwirtschaft haben könnte. Wer sich damit beschäftigen möchte, dem sei Gary Marcus’ Vorschau auf 2026 empfohlen 5, die auch dort zitierte Analyse der von Joe Rennison in der New York Times 6, vor allem aber das Interview mit KI-Forscher Yann LeCun in der Financial Times 7.

LeCun weist bereits seit einer Weile darauf hin, dass LLM hilfreich sein können, aber nicht in der Lage sein werden, wie Menschen zu denken oder zu planen. 8 Allerdings können sie dennoch oder gerade deswegen umfassenden Schaden anrichten.

Düster sind die Prognosen, die in Jana Wuttkes hervorragendem Deutschlandfunk-Kultur-Zeitfragen.Feature von einigen der klügsten KI-Köpfe zusammengatragen werden 9: Es mehren sich die Warnungen davor, dass die Menschen die Kontrolle über die Maschinen verlieren könnten und ich diese gegen ihre Erschaffer richten könnten. Selbst, wenn man Künstlichen Intelligenzen (noch) kein eigenes Bewusstsein zugestehen will, sind Reinforcement-Algorithmen, die dazu führen, dass Chatbots Tipps zu Suiziden geben, warnende Beispiele. 10

Am gefährlichsten sind die Diskussionen, die wir nicht führen

Was uns zu denken geben sollte ist genau das, worüber wir in der Gesellschaft, im Gesundheitswesen, in den Medien nicht diskutieren: Mit welchen Regeln wir Künstliche Intelligenz einsetzen wollen.

Technologiekonzerne versuchen, den Eindruck zu erwecken, Künstliche Intelligenz sei etwas so außergewöhnliches, dass unsere normalen regulatorischen Rahmen damit überfordert seien. Das entlarvt zum Beispiel Matthias Spielkamp von AlgorithmWatch als Ablenkungsmanöver (zitiert und gut dargestellt beim Deutschlandfunk hier 9 und hier 10).

Künstliche Intelligenz bleibt so lange außergewöhnlich, unverständlich und unkontrollierbar, so lange wir Technologiekonzernen glauben, dass wir nicht klug genug seien, sie zu verstehen. Aufklärung ist bekanntlich der Ausgang des Menschen aus seiner selbstverschuldeten Unmündigkeit. 11 Es ist Zeit, dass wir uns den Herausforderungen der Künstlichen Intelligenz aufgeklärt stellen.