KI-MED: Institut für Medizinische Informatik - Charité

KI-MED: Prüfstandards und Prüfwerkzeuge für Künstliche Intelligenz in medizinischen Diagnose- und Prognosesystemen

Sie befinden sich hier:

Über das Projekt

Künstliche Intelligenz (KI) wird zunehmend in der medizinischen Diagnostik und Prognostik eingesetzt und eröffnet neue Möglichkeiten für Präzision, Effizienz und frühe Intervention. Gleichzeitig handelt es sich um einen Hochrisikobereich, in dem Fehlentscheidungen schwerwiegende Folgen haben können. Trotz rasanter technologischer Entwicklungen fehlen bislang einheitliche, praxisnahe Prüfstandards und Werkzeuge, um die Sicherheit, Robustheit, Erklärbarkeit und Leistungsfähigkeit medizinischer KI-Systeme systematisch und reproduzierbar zu bewerten. Das Projekt KI-MED setzt genau hier an. Ziel ist die Entwicklung eines umfassenden Prüfwerkzeugs, das KI-Modelle und die zugrunde liegenden Datensätze entlang ihres gesamten Lebenszyklus bewertet – von der Datenauswahl über das Training bis hin zum Einsatz im klinischen Kontext. Im Fokus stehen neben der Performanz insbesondere KI-spezifische Sicherheitsaspekte, Robustheit gegenüber Störungen und Angriffen sowie Erklärbarkeit, Interpretierbarkeit und Unsicherheitsquantifizierung der Modelle.

Das Projekt kombiniert methodische Forschung mit anwendungsnaher Evaluation anhand eines medizinischen Use Cases. Auf Basis systematischer Analysen werden Qualitätsmerkmale, Metriken, Prüfanforderungen und Prüfmethoden entwickelt und in einem modularen, möglichst generalisierbaren Prüfwerkzeug zusammengeführt. Die Ergebnisse werden wissenschaftlich aufbereitet und dienen als Grundlage für zukünftige Zertifizierungs- und Normierungsprozesse. Auftraggeber ist das Bundesamt für Sicherheit in der Informationstechnik (BSI), dass die Ergebnisse gezielt in nationale und internationale Standardisierungsgremien einbringen wird.

Das Projekt leistet damit einen zentralen Beitrag zur Vertrauenswürdigkeit medizinischer KI und schafft die Voraussetzungen für einen sicheren, transparenten und verantwortungsvollen Einsatz KI-gestützter Diagnose- und Prognosesysteme in der Gesundheitsversorgung.