Les 3 points d’attention à connaître pour auditer un fournisseur d’IA

Identification du cas d’usage de l’IA 

Le cas d’usage de l’IA correspond à la situation et au contexte spécifique dans lequel l’IA va être utilisée ainsi que les bénéfices attendus de son utilisation. Concrètement, il s’agit de la raison pour laquelle l’une des équipes de votre entreprise souhaite recourir à un système d’IA. À titre d’illustration, il peut s’agir de l’équipe RH qui ne dispose pas d’assez de temps à consacrer au recrutement et souhaite donc utiliser une IA opérant un tri des candidatures reçues afin que ne soient contactés que les meilleurs profils. 

Détermination de la qualification AI Act 

L’identification du cas d’usage est primordiale, car elle vous permettra directement de qualifier l’IA que vous utilisez au regard des catégories d’IA énoncées par le règlement sur l’intelligence artificielle (“RIA”). Ainsi, vous pourrez déterminer s’il s’agit d’un système d’IA interdit, à haut risque, à risque spécifique ou sans risque. 

Identification de la maturité IA du fournisseur 

Déterminer la qualification vous permet d’analyser si le fournisseur se qualifie correctement et donc de connaître son sérieux et sa maturité sur la conformité IA. En effet, un fournisseur qui minimise sa qualification au regard de l’IA est bien souvent celui qui n’a pas déployé les mesures de conformité et de sécurité appropriées aux risques que son système d’IA fait courir. 

N’hésitez pas à poser directement la question de la qualification au fournisseur d’IA. Vous pouvez également  lui demander la documentation au soutien de la qualification ainsi que des informations complémentaires sur les mesures de conformité IA qu’il a déployées. 

Identification des obligations IA à respecter 

Connaître la qualification AI Act du système d’IA utilisé par votre entreprise est également indispensable pour déterminer vos propres obligations.

 Par exemple, si l’IA envisagée est à haut risque, il faudra notamment veiller à ce que vos équipes l’utilisent conformément à la notice d’utilisation fournie par le fournisseur. Il faudra également s’assurer que les personnes qui l’utilisent peuvent surveiller son fonctionnement et intervenir en cas de comportement inattendu ou anormal de l’IA. 

S’il s’agit d’une IA à risque spécifique requérant de fournir une information spécifique aux utilisateurs, il faudra s’assurer que votre entreprise informe correctement et de façon transparente les utilisateurs de l’IA. 

Identification des données traitées par l’IA 

L’identification des données traitées par l’IA concerne en premier lieu celles communiquées par votre entreprise à l’IA afin d’obtenir le résultat pour lequel elle est utilisée (classement, notation, génération de contenu, inférence de résultats, etc.). Généralement, pour identifier les données traitées, il suffit d’en discuter avec vos équipes et, le cas échéant, d’interroger directement le fournisseur.

Détermination de la qualification des données 

Connaître les données traitées par le système d’intelligence vous permet de déterminer s’il s’agit de données personnelles, sensibles, confidentielles ou encore couvertes par un secret professionnel. 

Il ne s’agit pas d’un détail mais d’un élément structurant pour identifier les règles applicables à ces données, qu’il vous appartient de respecter en tant qu’utilisateur de l’IA. Cette information est également crucial pour déterminer le niveau de sécurité minimal requis du fournisseur d’IA afin que vous puissiez lui confier les données de votre entreprise. 

Identification de vos obligations en tant qu’utilisateur de l’IA 

En fonction de la qualité des données traitées par le système d’IA audité, des obligations spécifiques vous incomberont. 

À titre d’illustration, si le système d’IA traite des données personnelles, il faut vous assurer d’être légalement autorisé à lui communiquer ces données et, plus globalement, de respecter les obligations de conformité du RGPD. 

De même, si le système d’IA traite des données identifiées comme confidentielles par les contrats que vous avez conclus avec vos clients, il faut vous assurer que le partage de ces données à des outils d’IA est autorisé et ne vous met pas à risque de violation contractuelle.

Identification des mesures de sécurité de l’IA

Les mesures de sécurité à auditer sont principalement de deux ordres : la sécurisation des données transmises au système d’IA et la sécurisation des actions et des accès accordés au système d’IA. 

Sécurisation des informations communiquées au système d’IA

Il convient de s’assurer que les données et informations communiquées aux IA sont sécurisées. 

Cette sécurisation attendue des données est réalisée à plusieurs niveaux : 

• Lors de la communication de données et d’information à l’IA. Dans ce cas, la sécurité peut, par exemple, être assurée en s’assurant que les données sont chiffrées en transit afin d’éviter leur interception par des tiers malveillants.
• Lors du stockage et du traitement des données. Dans ce cas, les mesures de sécurité nécessaires sont notamment le chiffrement au repos ou encore la journalisation des accès aux données via la conservation des logs pertinents.
• Lors de l’entraînement et de l’amélioration des systèmes d’IA et des modèles d’IA sous-jacents. Dans ce cas, les mesures de sécurité peuvent prendre la forme d’une interdiction de la réutilisation de vos données à ces fins ou d’une garantie que vos données sont irréversiblement anonymisées.

Pour connaître les mesures de sécurité mises en place par le fournisseur, vous pouvez consulter sa documentation de sécurité soit directement sur son site internet, soit sur demande expresse à ce dernier. 

Sécurisation des actions réalisées par les IA

De plus en plus souvent, les IA ne sont pas uniquement utilisées pour obtenir un résultat, mais aussi pour effectuer des actions à la place des équipes. On utilise, dans ce cas, souvent les notions d’IA agentique, de connecteurs ou de MCP (Model Context Protocol). 

Cet usage conduit à permettre à un système d’IA d’interagir avec d’autres logiciels de l’entreprise afin d’y puiser les informations à ses raisonnements et actions.Cela a pour conséquence de multiplier les échanges de données entre les systèmes d’IA et les logiciels, et de permettre à des IA d’effectuer des actions au sein de ces logiciels. Il peut par exemple s’agir de déclencher l’envoi d’un courrier électronique, de modifier des présentations ou encore de résumer des enregistrements téléphoniques afin d’envoyer automatiquement des comptes rendus aux équipes. 

Pour éviter que ces actions ne portent atteinte à la sécurité de l’entreprise et de ses données, il convient d’auditer le fournisseur d’IA afin de s’assurer que : 

• Les échanges d’informations entre l’IA et les logiciels sont connus, maîtrisés, autorisés et limités. Cela permet d’éviter des fuites de données et des pertes de confidentialité lors de l’utilisation de l’IA  par les équipes
• Les actions pouvant être réalisées par l’IA ont été préalablement autorisées et sont connues. Il s’agit d’éviter que l’IA agisse sans que les équipes puissent contrôler les tâches qu’elle effectue. Le fournisseur doit communiquer clairement les droits, les autorisations et les effectue accès accordés à l’IA

Les informations relatives à ces aspects sont généralement disponibles en ligne dans la documentation technique du fournisseur. 

De façon générale, pour auditer le fournisseur d’IA, plusieurs moyens sont possibles : l’analyse du site internet, des contrats et de la documentation du système d’IA, l’organisation d’un échange avec le fournisseur pour lui poser des questions sur le fonctionnement de l’IA ou encore la transmission d’un questionnaire de conformité IA au fournisseur. En fonction de la complexité du cas d’usage de l’IA et du temps dont vous disposez, recourir simultanément à plusieurs de ces moyens est souvent le plus efficace.