Medikamente werden ohne menschliches Eingreifen verschrieben.
Jon Fleetwood
Utah ist der erste US-Bundesstaat, der im Rahmen eines neuen Pilotprogramms autonome künstliche Intelligenz (KI) für die Verlängerung von Rezepten bei chronischen Erkrankungen testet.
Am Dienstag kündigte das Büro für KI-Politik des Handelsministeriums von Utah eine bundesweit einmalige Partnerschaft mit Doctronic an, einer KI-Gesundheitsplattform.
Ziel ist es, Patientinnen und Patienten mit chronischen Erkrankungen einen schnelleren, automatisierten Weg zur Erneuerung ihrer Medikamente zu ermöglichen.
Doch dieser Schritt wirft ernste Fragen auf: Wer ist verantwortlich, wenn KI Medikamente verschreibt? Wie werden Patientinnen und Patienten geschützt? Und wie viel medizinische Entscheidungsgewalt wird Algorithmen ohne öffentliche Debatte übertragen?
Laut einer Pressemitteilung des Bundesstaates:
Diese Vereinbarung stellt das erste staatlich genehmigte Programm in den USA dar, das es einem KI-System erlaubt, rechtlich an medizinischen Entscheidungsprozessen zur Verlängerung von Rezepten teilzunehmen – ein aufkommendes Modell, das den Zugang zur Versorgung neu gestalten und letztlich die Behandlungsergebnisse verbessern könnte.
Medikamenten-Nichteinnahme ist einer der größten Treiber vermeidbarer gesundheitlicher Folgen und unnötiger Gesundheitsausgaben. Da Rezeptverlängerungen etwa 80 % aller medikamentenbezogenen Aktivitäten ausmachen, wollen Utah und Doctronic testen, wie autonome KI helfen kann, Zugangslücken zu schließen, Verzögerungen zu reduzieren, die zu Unterbrechungen der Medikation führen, und die Ergebnisse für Millionen von Menschen mit chronischen Erkrankungen zu verbessern.
Im Rahmen dieser Partnerschaft wird Doctronic die erste KI, die rechtlich Routine-Nachfüllrezepte ausstellen darf, indem sie ihre autonome KI-Gesundheitsplattform innerhalb des regulatorischen Sandbox-Rahmens von Utah einsetzt. Das Büro wird die klinischen Sicherheitsprotokolle, die Patientenerfahrung und die Wirksamkeit in der Praxis streng evaluieren. Ziel ist es zu zeigen, dass sichere, gut regulierte KI die Therapietreue verbessern, vermeidbare Krankenhausaufenthalte verhindern und die Gesundheitskosten senken kann – während Ärztinnen und Ärzte weiterhin im Zentrum der Versorgung bleiben.
Hintergrund zu Doctronic
Doctronic wurde im September 2023 von Matt Pavelle gegründet, einem in New York City ansässigen Serienunternehmer und Technologie-Manager mit Schwerpunkt auf KI-gestützten Gesundheitslösungen, wie Business Insider berichtet.
Die Plattform ist Large-Language-Model-agnostisch, das heißt, sie stützt sich nicht auf ein einzelnes KI-System, sondern auf mehrere – etwa OpenAI und Anthropic – und bildet daraus einen Konsens.
Pavelle sammelte 5 Millionen US-Dollar Seed-Finanzierung ein, angeführt von Union Square Ventures, Tusk Ventures und dem Startup-Accelerator HF0.
Doctronic-Nutzerinnen und -Nutzer müssen persönliche Informationen wie Alter und Geschlecht angeben, bevor sie ihre Symptome eingeben.
Anschließend erhalten sie vier wahrscheinliche Erklärungen sowie einen Handlungsplan, einschließlich einer standardisierten Notiz zur Weitergabe an ihre Ärztin oder ihren Arzt, so Insider.
Patientinnen und Patienten können zudem einen Video-Termin mit einer lizenzierten medizinischen Fachkraft buchen.
„Sie können rund um die Uhr in allen 50 Bundesstaaten einen Termin anfragen und werden in der Regel innerhalb von 30 Minuten mit einer Fachkraft verbunden, ab 39 Dollar“, heißt es in dem Bericht.
Im April des vergangenen Jahres bestätigte Pavelle, dass Doctronic rund 50.000 Nutzerinnen und Nutzer pro Woche verzeichnete.
In Daten, die mit den Regulierungsbehörden in Utah geteilt wurden, verglich Doctronic sein KI-System mit menschlichen Ärztinnen und Ärzten anhand von 500 Notfall-Ambulanzfällen, wie Politico berichtet.
Der Behandlungsplan der KI soll in 99,2 % der Fälle mit dem der Ärztinnen und Ärzte übereingestimmt haben.
Bedenken
Der CEO und Executive Vice President der American Medical Association, Dr. John Whyte, erklärte, dass „KI zwar unbegrenzte Möglichkeiten hat, die Medizin zum Besseren zu verändern, sie aber ohne ärztlichen Input auch ernsthafte Risiken für Patientinnen, Patienten und Ärztinnen und Ärzte birgt“.
Die Bedenken reichen von Missbrauch oder Fehlanwendung bis hin zur Möglichkeit, dass Menschen mit Drogenabhängigkeit versuchen könnten, das automatisierte System auszutricksen, um unrechtmäßig an Medikamente zu gelangen.
Und was ist mit subtilen klinischen Warnsignalen oder Wechselwirkungen zwischen Medikamenten, die eine Ärztin oder ein Arzt erkennen würde?
Grundsätzlicher wirft das Pilotprojekt in Utah die Frage auf, wann genau einem nicht-menschlichen System rechtliche Befugnis zur Teilnahme an medizinischen Entscheidungsprozessen eingeräumt wurde – eine Schwelle, die historisch lizenzierten Fachkräften vorbehalten war, die gegenüber Patientinnen, Patienten und Aufsichtsbehörden verantwortlich sind.
Indem der Bundesstaat einer autonomen KI erlaubt, rechtlich Routine-Nachfüllrezepte auszustellen, testet er nicht nur ein neues Werkzeug, sondern ein neues Medizinmodell – eines, in dem das traditionell von Ärztinnen und Ärzten ausgeübte Urteil an Algorithmen delegiert wird, die innerhalb einer regulatorischen Sandbox operieren.
Der Staat stellt das Programm als Mittel zur Verbesserung von Effizienz und Zugang dar, doch gerade Geschwindigkeit und Skalierung vergrößern Risiken, wenn Fehler auftreten – insbesondere dann, wenn Entscheidungen automatisiert und auf Millionen von Menschen mit chronischen Erkrankungen angewendet werden.
Das Versprechen, dass Ärztinnen und Ärzte „im Zentrum der Versorgung“ bleiben, steht in einem Spannungsverhältnis zu einem System, das ausdrücklich für autonomen Betrieb konzipiert ist, und wirft Fragen darüber auf, wo menschliche Aufsicht endet und algorithmische Autorität beginnt.
Wenn Rezeptverlängerungen – die etwa 80 % der gesamten Medikationstätigkeit ausmachen – nun als sicher automatisierbar gelten, welche weiteren zentralen medizinischen Funktionen könnten unter derselben Logik bald folgen?
Und während Utah dieses Pilotprojekt als nationales Modell für KI im Gesundheitswesen positioniert, stellt sich eine weitere Frage: Handelt es sich um ein eng begrenztes Experiment – oder um den ersten Schritt hin zur Normalisierung KI-gestützter medizinischer Entscheidungsfindung ohne klar definierte, fest etablierte Leitplanken?