„Medizinisches Wissen und medizinische Praktiken ändern sich und entwickeln sich im Laufe der Zeit weiter, und es ist nicht abzusehen, wo in der Zeitleiste der Medizin ChatGPT seine Informationen bezieht, wenn es eine typische Behandlung angibt“, sagt sie. „Sind diese Informationen aktuell oder veraltet?“
Benutzer müssen sich auch darüber im Klaren sein, dass Bots im ChatGPT-Stil erfundene oder „halluzinierte“ Informationen auf oberflächlich flüssige Weise präsentieren können, was möglicherweise zu schwerwiegenden Fehlern führt, wenn eine Person die Antworten eines Algorithmus nicht auf Fakten überprüft. Und KI-generierter Text kann Menschen auf subtile Weise beeinflussen. Eine Studie veröffentlicht im Januar, der nicht von Fachleuten begutachtet wurde, der ethische Teaser für ChatGPT darstellte, kam zu dem Schluss, dass der Chatbot einen inkonsistenten moralischen Berater darstellt, der die menschliche Entscheidungsfindung beeinflussen kann, selbst wenn die Leute wissen, dass der Rat von KI-Software stammt.
Arzt zu sein bedeutet viel mehr, als enzyklopädisches medizinisches Wissen wiederzukäuen. Während viele Ärzte begeistert davon sind, ChatGPT für Aufgaben mit geringem Risiko wie die Zusammenfassung von Texten zu verwenden, befürchten einige Bioethiker, dass Ärzte sich an den Bot wenden werden, wenn sie vor einer schwierigen ethischen Entscheidung stehen, z. B. ob eine Operation mit geringer Wahrscheinlichkeit die richtige Wahl für einen Patienten ist des Überlebens oder der Genesung.
„Sie können diese Art von Prozess nicht an ein generatives KI-Modell auslagern oder automatisieren“, sagt Jamie Webb, Bioethiker am Centre for Technomoral Futures an der University of Edinburgh.
Im vergangenen Jahr untersuchten Webb und ein Team von Moralpsychologen, was erforderlich wäre, um einen KI-gestützten „moralischen Berater“ für den Einsatz in der Medizin zu bauen, inspiriert von bisherige Forschung das legte die idee nahe. Webb und seine Co-Autoren kamen zu dem Schluss, dass es für solche Systeme schwierig sein würde, verschiedene ethische Prinzipien zuverlässig in Einklang zu bringen, und dass Ärzte und andere Mitarbeiter unter „moralischer Dequalifizierung“ leiden könnten, wenn sie sich übermäßig auf einen Bot verlassen würden, anstatt selbst knifflige Entscheidungen zu überdenken .
Webb weist darauf hin, dass Ärzten zuvor gesagt wurde, dass KI, die Sprache verarbeitet, ihre Arbeit revolutionieren wird, nur um enttäuscht zu werden. Nach Gefahr! Siege in den Jahren 2010 und 2011 wandte sich die Abteilung Watson bei IBM der Onkologie zu und erhob Behauptungen über die Wirksamkeit bei der Krebsbekämpfung mit KI. Aber diese Lösung, ursprünglich Memorial Sloan Kettering in a Box genannt, war in klinischen Umgebungen nicht so erfolgreich, wie der Hype vermuten lässt, und im Jahr 2020 stellte IBM das Projekt ein.
Wenn der Hype hohl klingt, könnte das nachhaltige Folgen haben. Während eines Diskussionsrunde in Harvard über das Potenzial von KI in der Medizin im Februar erinnerte sich der Hausarzt Trishan Panch daran, dass ein Kollege kurz nach der Veröffentlichung des Chatbots auf Twitter gepostet hatte, um die Ergebnisse der Bitte an ChatGPT zu teilen, eine Krankheit zu diagnostizieren.
Aufgeregte Kliniker antworteten schnell mit Zusagen, die Technologie in ihren eigenen Praxen einzusetzen, erinnerte sich Panch, aber um die 20. Antwort mischte sich ein anderer Arzt ein und sagte, dass jede vom Modell generierte Referenz gefälscht sei. „Es braucht nur ein oder zwei Dinge wie diese, um das Vertrauen in die ganze Sache zu untergraben“, sagte Panch, der Mitbegründer des Gesundheitssoftware-Startups Wellframe ist.
Trotz der manchmal eklatanten Fehler von AI bleibt Robert Pearl, ehemals Kaiser Permanente, extrem optimistisch gegenüber Sprachmodellen wie ChatGPT. Er glaubt, dass Sprachmodelle im Gesundheitswesen in den kommenden Jahren dem iPhone ähnlicher werden werden, vollgepackt mit Funktionen und Leistung, die Ärzte unterstützen und Patienten bei der Bewältigung chronischer Krankheiten helfen können. Er vermutet sogar, dass Sprachmodelle wie ChatGPT dabei helfen können, die mehr als 250.000 Tote die in den USA jährlich als Folge medizinischer Fehler auftreten.
Pearl betrachtet einige Dinge als tabu für die KI. Menschen bei der Bewältigung von Trauer und Verlust zu helfen, Gespräche am Lebensende mit Familien und Gespräche über Eingriffe mit hohem Komplikationsrisiko sollten keinen Bot beinhalten, sagt er, da die Bedürfnisse jedes Patienten so unterschiedlich sind, dass man diese Gespräche führen muss um dorthin zu kommen.
„Das sind Gespräche von Mensch zu Mensch“, sagt Pearl und sagt voraus, dass das, was heute verfügbar ist, nur ein kleiner Prozentsatz des Potenzials ist. „Wenn ich falsch liege, liegt das daran, dass ich das Tempo der Verbesserung der Technologie überschätze. Aber jedes Mal, wenn ich hinschaue, bewegt es sich schneller als ich dachte.“
Im Moment vergleicht er ChatGPT mit einem Medizinstudenten: in der Lage, Patienten zu versorgen und einzugreifen, aber alles, was es tut, muss von einem behandelnden Arzt überprüft werden.