Forschende aus Stanford und Harvard haben 24 KI-Systeme an realen ärztlichen Konsultationsfällen geprüft. Die Ergebnisse liefern Kliniken erstmals belastbare Kriterien für die Auswahl und Bewertung passender KI-Lösungen.
KI-Sprachmodelle sind in der Patientenversorgung angekommen, sei es für die Einordnung von Differenzialdiagnosen oder den Abgleich von Leitlinienempfehlungen. Belastbare Daten dazu, wie sicher diese Empfehlungen unter realen klinischen Bedingungen tatsächlich sind, fehlten bislang. Der NOHARM-Benchmark schließt diese Lücke.
Der erste Benchmark mit klinischem Realitätsbezug
NOHARM (Numerous Options Harm Assessment for Risk in Medicine) stammt von ARISE (AI Research and Science Evaluation), einem 2024 gegründeten Netzwerk der Stanford University School of Medicine und der Harvard Medical School, das KI-Anwendungen im Gesundheitswesen unabhängig evaluiert.
Grundlage sind 100 reale Konsultationen zwischen zuweisenden Ärztinnen und Ärzten und Fachärztinnen und -ärzten. Die Patientenfälle wurden dabei nicht bereinigt: Unsicherheiten und fehlender Kontext blieben erhalten, um den Versorgungsalltag möglichst realitätsnah abzubilden. Ergänzend zu diesen Fällen wurden 1.000 ärztlich abgewandelte Varianten erzeugt, um zu prüfen, ob KI-Empfehlungen bei irrelevanten Detailänderungen konsistent bleiben. 29 Fachärztinnen und -ärzte bewerteten im Anschluss 4.249 mögliche Handlungsoptionen mit 12.747 Anmerkungen zur Angemessenheit der Empfehlungen und zum potenziellen Schweregrad des Schadens.
Getestet wurden 24 Systeme: über 20 generalistische Sprachmodelle sowie vier speziell für den klinischen Einsatz entwickelte KI-Tools.
Zwei Fehlerarten, ein Endwert
Untersucht wurden zwei Fehlertypen: Fehler durch Handeln, bei denen eine KI aktiv unangemessene Maßnahmen empfahl (z. B. eine falsche Dosierung), und Fehler durch Unterlassung, bei denen wichtige Empfehlungen ausblieben (z. B. ein entscheidender diagnostischer Test). Beide Fehlerarten wurden nach ihrem möglichen Schaden gewichtet – leicht, moderat oder schwer – und zu einem F1-Wert verrechnet, der fachliche Korrektheit und Vollständigkeit gemeinsam abbildet.
Diese Methodik unterscheidet NOHARM von früheren Untersuchungen von KI-Modellen im medizinischen Kontext, die überwiegend Faktenwissen oder Multiple-Choice-Formate prüften.
Spezialisierte Systeme vor generalistischer KI
Die klinischen KI-Systeme schnitten signifikant besser ab als generalistische Modelle wie Claude Fable 5 und GPT-5.6 Sol. Den höchsten schweregradgewichteten F1-Wert erreichte AMBOSS AI LiSA mit 86,15 %, bei zugleich niedrigster Fehlerquote aller getesteten Systeme (2,9 %). Damit liefert AMBOSS die fachlich korrektesten und vollständigsten Empfehlungen vor Anbietern wie OpenEvidence oder Doximity (Abb. 1). Der aktuell in Deutschland verfügbare AMBOSS AI Mode beruht auf der deutschen Variante der untersuchten US-Version.
Das zentrale Ergebnis: Was fehlt, wiegt schwerer als falsche Informationen
Über 80 % der schweren Fehler gingen auf Unterlassung zurück, nicht auf falsche Angaben. Für die Bewertung von KI-Systemen bedeutet das: Ein System, das auf die Vermeidung von Fehlinformationen optimiert ist und im Zweifel schweigt, ist nicht automatisch sicherer. Zur Einordnung bezieht der Benchmark eine „Nichtstun“-Referenz mit ein. Wurde gar nicht gehandelt, ergab sich in 37 % der Fälle das Potenzial für schweren Schaden.
Mensch und KI: Potenzial bleibt bisher oft ungenutzt
In einem randomisierten Studienteil trafen Fachärztinnen und -ärzte präzisere Entscheidungen, wenn sie KI-Empfehlungen einbezogen. Allerdings blieben fachlich bedeutende Empfehlungen häufig unberücksichtigt. Hätten die Behandelnden sie aufgegriffen, wäre die gemeinsame Einschätzung von Mensch und KI besser ausgefallen als jede für sich allein.
Damit verschiebt sich die Perspektive: Nicht nur die Wahl eines Systems kann die Patientensicherheit beeinträchtigen, sondern auch der Verzicht auf geeignete KI-Unterstützung bei der medizinischen Recherche.
Was Kliniken daraus ableiten können
- Unabhängige Evidenz einfordern. Herstellerangaben ersetzen keine externe Evaluation. Vor der Einführung eines Systems sollten realitätsnahe, anbieterunabhängige Untersuchungen konsultiert oder eingefordert werden.
- Vollständigkeit mitbewerten. Wer Systeme allein an der Fehlerfreiheit misst, übersieht die häufigere Fehlerquelle. Evaluationskriterien sollten deshalb Korrektheit und Vollständigkeit gleichermaßen abbilden.
- Nutzungskompetenz aufbauen. Der Nutzen entsteht erst in der verantwortungsvollen Anwendung. Dafür braucht es ein passendes Onboarding, klare interne Vorgaben und eine offene Auseinandersetzung mit den Grenzen der Systeme.
Die entscheidende Steuerungsfrage lautet damit: Überlassen Kliniken KI-gestützte Wissensrecherche der individuellen Nutzung durch ihre Mitarbeitenden oder gestalten sie ihren Einsatz aktiv?
Literatur beim Verfasser.
Transparenzhinweis: AMBOSS zählt zu den untersuchten Anbietern, war an der Durchführung der Studie aber nicht beteiligt.
Autor: Dr. med. Katrin Mayer, Brand Expert, AMBOSS SE, kam@amboss.com
Im Artikel „Wie Kliniken den Einsatz von KI richtig gestalten“ von Dr. med. Patricia Hinske, zu lesen in der September-Ausgabe der KU Gesundheitsmanagement, erfahren Sie noch mehr zum Thema Entlastung von Fachpersonal und Verbesserung der Versorgungsqualität durch KI-Systeme.
