Grand défi IA de confiance pour les systèmes critiques

Ce défi vise à assurer la transparence et l’auditabilité des systèmes autonomes à base d’IA, en développant les capacités nécessaires pour observer, comprendre et auditer leur fonctionnement et en développant des approches démontrant le caractère explicable de leur fonctionnement.


Vision et objectifs

La fiabilité du fonctionnement des logiciels utilisés est depuis longtemps au cœur de nombreuses applications. Toutefois, la question reste ouverte lorsque les systèmes intègrent de l’intelligence artificielle. Que l’on pense à la sûreté d’une prise de décision « autonome » en temps réel, à des domaines ne tolérant pas l’erreur de décision ou à des attentes d’équité de traitement qui exigent la garantie que ceux-ci ne sont pas biaisés, la confiance placée dans les systèmes intégrant de l’Intelligence artificielle (IA) doit impérativement être développée.

Pour parvenir à développer une IA de confiance pour l’industrie, le Grand défi ambitionne de répondre autour de trois axes stratégiques aux problématiques suivantes :  concevoir de manière sûre les systèmes,  savoir les évaluer pour en garantir le fonctionnement et  créer l’environnement normatif adéquat pour, à terme, les certifier.

Actions clés

Créer une plateforme d’outils logiciels et des méthodologies associées pour la conception, la qualification et le déploiement de l’IA de confiance

La réalisation de systèmes critiques à base d’IA nécessite de revisiter les ingénieries classiques (ingénierie de la donnée et de la connaissance, ingénierie algorithmique et ingénierie système) et de les enrichir. Il faut en effet être en mesure de s’assurer de la conformité du système aux besoins et aux contraintes du client, définir des méthodes et outils pour sécuriser l’ensemble des phases de conception, mais aussi garantir des propriétés de type fiabilité, sécurité et cyber sécurité, et maintenabilité du système ; cela tout au long de son cycle de vie. L’enjeu est alors d’outiller de bout en bout toute la démarche de « génie de l’IA » prenant en compte les dimensions algorithmiques, logicielles et systèmes, mais aussi celles de la donnée et des connaissances.

C’est toute l’ambition du programme « Confiance.ai », qui  fédère des partenaires industriels (Airbus, Safran, Thales, Renault, Valeo, Atos, Sopra Steria, EDF, Air Liquide, Navan Group) et académiques (IRT SystemX, IRT Saint-Exupery, CEA, Inria) autour d’une même ambition : développer une plateforme d’outils logiciels pour la conception, la qualification et le déploiement de l’IA de confiance dans les systèmes critiques.

Évaluer les systèmes à base d’IA pour des applications critiques

La confiance dans les systèmes à base d’intelligence artificielle requiert le développement de plateformes d’évaluation spécifiques, voire adaptées aux besoins des applications et services. La première application définie donnera lieu à la mise en œuvre d’une plateforme d’homologation dans le domaine de la mobilité autonome et s’intéressant spécifiquement à l’introduction de l’IA dans ce domaine.

Pour ce faire, il s’agira de revisiter nos approches techniques, notamment par le recourt à des chaines de simulation générique, interopérables et évolutives, associées à des schémas de tests (ou scenarii) représentatifs du contexte et du domaine d’emploi, voire même de ses potentielles évolutions, ainsi qu’à un élément permettant de l’utiliser comme une preuve « acceptable » dans le cadre d'un processus règlementaire d’évaluation.

Créer l’environnement normatif pour l’IA de confiance

Développer des normes volontaires est l’une des actions essentielles pour accompagner le développement de l’IA de confiance, en considérant les enjeux socio-économiques et en tenant compte d’enjeux spécifiques tels que l’éthique (transparence des plateformes, égalité de traitements,  etc.), la sureté et la sécurité des biens et des personnes. Ceci, dans l’objectif d’assurer la souveraineté numérique et de préparer un cadre répondant  aux besoins industriels sectoriels comme la santé, l’industrie du futur ou la mobilité, notamment en matière de responsabilité.

Pour y parvenir, le Grand défi a mandaté Afnor pour définir une feuille de route de normalisation en IA, associant largement l’écosystème français, et afin de développer les coopérations internationales nécessaires à sa promotion.

Liens et téléchargements

  • Grands Défis
  • Mis à jour le 09/03/2021

    Partager