Naiverweise kann man annehmen, dass maschinelles Lernen zu Entscheidungen führen kann, die frei von Vorurteilen und sozialen Bias sind. Jüngste Erkenntnisse zeigen jedoch, wie Modelle des Maschinellen Lernens aus Bias in historischen Daten lernen und ungerechte Entscheidungen auf ähnliche Weise reproduzieren. Die Erkennung von Bias gegenüber Untergruppen in Modellen des Maschinellen Lernens ist auch deshalb eine Herausforderung, weil diese Modelle nicht für eine bewusste Diskriminierung konzipiert oder trainiert wurden. Die Definition von "Fairness"-Metriken und die Untersuchung von Möglichkeiten, um sicherzustellen, dass Minderheitengruppen durch die Entscheidungen von Modellen des Maschinellen Lernens nicht benachteiligt werden, ist ein aktiver Forschungsbereich.

Die Analyse von Entscheidungskurven wird zur Bewertung des klinischen Nutzens eines Vorhersagemodells verwendet, indem der Nettonutzen als Kompromiss zwischen der Präzision und der Genauigkeit des Modells geschätzt wird. Auf der Basis dieses Ansatzes wird die Strategie "Intervention für alle" und "Intervention für keinen" mit dem Nettonutzen des Modells verglichen. Die Analyse von Entscheidungskurven ist ein menschenzentrierter Ansatz zur Bewertung des klinischen Nutzens, da sie die Meinung von Experten erfordert. Die Initiative "Ethische Künstliche Intelligenz" weist darauf hin, dass ein menschenzentrierter Ansatz in klinischen Entscheidungsunterstützungssystemen erforderlich ist, um Verantwortlichkeit, Sicherheit und Kontrolle zu ermöglichen und gleichzeitig "Fairness" und Transparenz zu gewährleisten.

Deep-Learning-Modelle haben die bemerkenswerte Fähigkeit, sich Daten einzuprägen, auch wenn sie nicht überanpassen. Mit anderen Worten: Die Modelle selbst können Informationen über die Patienten preisgeben, die deren Privatsphäre gefährden. Dies kann zu unbeabsichtigten Datenlecks bei der Inferenz führen und bietet auch Möglichkeiten für bösartige Angriffe. Wir werden einen Überblick über gängige Angriffe auf die Privatsphäre und deren Abwehrmöglichkeiten geben. Abschließend werden wir Angriffe gegen Deep Learning-Erklärungen erörtern.