Naïvement, l'apprentissage automatique peut être considéré comme un moyen d'aboutir à des décisions exemptes de préjugés et de biais sociaux. Cependant, des preuves récentes montrent comment les modèles d'apprentissage automatique apprennent à partir de biais dans des données historiques et reproduisent des décisions injustes de la même manière. La conception machines des biais contre des sous-groupes dans les modèles d'apprentissage automatique est également difficile du fait que ces modèles n'ont pas été conçus ou entraînés pour discriminer délibérément. La définition de mesures d'"équité" et l'étude des moyens permettant de garantir que les groupes minoritaires ne sont pas désavantagés par les décisions des modèles d'apprentissage automatique constituent un domaine de recherche actif.

L'analyse de la courbe de décision est utilisée pour évaluer l'utilité clinique d'un modèle de prédiction en estimant le bénéfice net qui est un compromis entre la précision et l'exactitude du modèle. Sur la base de cette approche, la stratégie "intervention pour tous" et "intervention pour personne" est comparée au bénéfice net du modèle. L'analyse des courbes de décision est une approche centrée sur l'homme pour évaluer l'utilité clinique, car elle nécessite l'avis d'experts. L'initiative d'Intelligence artificielle (IA) éthique indique qu'une approche centrée sur l'humain dans les systèmes d'aide à la décision clinique est nécessaire pour permettre la responsabilité, la sécurité et la surveillance tout en garantissant l'équité et la transparence.

Les modèles de deep learning ont une capacité remarquable à mémoriser des données, même lorsqu'ils ne sont pas surajoutés. En d'autres termes, les modèles eux-mêmes peuvent exposer des informations sur les patients qui compromettent leur vie privée. Cela peut entraîner des fuites de données involontaires dans l'inférence et également fournir des opportunités pour des attaques malveillantes. Nous passerons en revue les attaques courantes contre la vie privée et les moyens de défense mis en œuvre pour les contrer. Enfin, nous discuterons des attaques malveillantes contre les explications de Deep learning.