Avant de déployer l’IA dans une institution publique : 7 risques qu’il faut gouverner
· BEXTIO
L’adoption de l’intelligence artificielle crée des opportunités, mais aussi de nouvelles dépendances et de nouveaux points de contrôle.
Une institution ne doit pas attendre un incident pour organiser sa gouvernance.
Sept familles de risques méritent une attention particulière. 1.
Confidentialité et données.
Des informations sensibles peuvent être envoyées vers un service non prévu pour les traiter.
Il faut donc définir quelles données sont autorisées, dans quel environnement, pour quelle finalité et avec quelle durée de conservation. 2.
Erreurs et réponses plausibles mais fausses.
Une sortie bien rédigée peut être incorrecte, incomplète ou fondée sur une mauvaise source.
Les usages importants doivent prévoir des mécanismes de vérification et des jeux de test. 3.
Accès excessifs.
Un assistant documentaire ne doit pas permettre à un utilisateur d’accéder à des informations auxquelles il n’a normalement pas droit.
Les règles d’accès doivent suivre les rôles institutionnels. 4.
Dépendance fournisseur.
Une institution peut devenir dépendante d’un modèle, d’un format, d’un hébergement ou d’un prestataire.
Il faut vérifier l’export des données, la portabilité, les coûts futurs et le plan de sortie. 5.
Changements invisibles.
Un fournisseur peut modifier son modèle, ses conditions, son comportement ou son architecture.
Une autorisation ne doit donc pas être considérée comme valable pour toutes les versions futures. 6.
Responsabilité floue.
Quand une décision est mauvaise, qui répond ?
L’outil, l’utilisateur, le manager, la direction, le fournisseur ?
Une gouvernance sérieuse définit toujours un propriétaire métier et une autorité responsable. 7.
Absence de réversibilité.
Un système peut devenir trop coûteux, indisponible, non conforme ou simplement moins utile.
L’institution doit savoir comment continuer à travailler, récupérer ses actifs, migrer et retirer proprement le système.
Ces risques ne signifient pas qu’il faut bloquer l’innovation.
Ils signifient qu’il faut proportionner le contrôle au niveau de risque.
Un assistant interne sur un corpus public peut suivre un circuit léger.
Un système exposé au public, utilisant des données sensibles ou influençant des décisions importantes doit recevoir davantage de tests, de validation, de surveillance et de capacité d’arrêt.
La bonne gouvernance n’est donc pas l’opposé de l’expérimentation.
Elle permet d’expérimenter sans perdre la maîtrise.