ISO/IEC 42001 Lead Auditor

Dix questions d'exemple de l'examen

Une par domaine de compétence, telles qu'elles apparaissent dans le simulateur.

1. D4 Préparation d'un audit ISO/IEC 42001

   Lors du contact initial pour l'audit de certification d'une organisation qui développe une IA de présélection des candidatures, l'audité indique que la documentation de ses modèles et ses rapports d'évaluation sont commercialement sensibles, et que l'entrée sur le site de développement exige une habilitation de sécurité qui se demande plusieurs semaines à l'avance. Que doit faire le responsable de l'équipe d'audit à ce stade ?

   1. Reporter la confidentialité et l'accès au site à la réunion d'ouverture, car le contact initial ne sert qu'à fixer les dates et à nommer les auditeurs.
   2. Accepter pour toute la mission les résumés de la documentation des modèles que l'audité établira lui-même, puisque l'accord déjà signé engage l'équipe d'audit.
   3. Convenir avec l'audité de l'étendue de la divulgation et du traitement de l'information confidentielle, et arrêter les dispositions propres au site pour l'accès et la sûreté.
   4. Consigner la sensibilité des preuves comme une limitation dans le rapport d'audit et poursuivre la planification, en laissant les auditeurs régler l'accès aux rapports d'évaluation une fois qu'ils seront sur le site.

2. D5 Réalisation d'un audit ISO/IEC 42001

   Lors d'un audit d'étape 2, un auditeur recueille des preuves sur la façon dont les données d'entraînement sont étiquetées et vérifiées avant leur utilisation. L'annotateur de données répond en termes très généraux, puis oriente la conversation vers ses griefs au sujet du budget de l'équipe d'annotation. Quelle technique d'entretien l'auditeur devrait-il appliquer pendant le reste de la séance ?

   1. Accepter la réponse générale, laisser le récit sur le budget suivre son cours et lire ensuite la procédure écrite d'étiquetage pour obtenir le détail que la séance n'a pas produit.
   2. Poser des questions ouvertes de relance pour obtenir le détail manquant, ramener la séance à l'étiquetage, puis reformuler les réponses et en demander confirmation à l'annotateur.
   3. Dérouler la liste préparée dans son ordre fixe, consigner chaque réponse mot pour mot et laisser les points obscurs pour la réunion de clôture.
   4. Reformuler la question de façon qu'elle porte déjà en elle la réponse attendue, afin que l'annotateur revienne aux étapes documentées, et consigner la réponse comme une confirmation.

3. D3 Concepts et principes fondamentaux de l'audit

   Une équipe d'audit qui prépare l'audit de certification d'un système de management de l'IA entend passer un outil d'analyse textuelle sur la documentation des modèles de l'audité, l'alimenter avec un extrait produit par un script d'automatisation et confier à un assistant génératif la rédaction des résumés des documents de travail. Quelle position le responsable de l'équipe d'audit devrait-il adopter ?

   1. Autoriser les outils en exigeant que toute sortie soit vérifiée contre les enregistrements de l'audité avant d'entrer dans un document de travail ou d'étayer une constatation, car la conclusion est celle de l'équipe.
   2. Interdire les trois outils, car un matériau produit avec une aide automatisée sort de ce qu'un audit de certification peut prendre en compte et seuls des enregistrements lus en personne par un auditeur peuvent servir d'appui.
   3. Traiter la sortie de l'analyse comme une preuve documentaire à part entière, nommer l'outil, son fournisseur et sa version dans le rapport, et alléger d'autant les vérifications menées sur les enregistrements sous-jacents.
   4. Envoyer la documentation des modèles à un service génératif public, recueillir le consentement ensuite et consigner l'outil, l'instruction et la date.

4. D1 Principes et concepts fondamentaux du SMIA

   Un consultant assure à une organisation qui construit et héberge des modèles de recommandation qu'ISO/IEC 42001 est un document d'orientation et non une norme certifiable, et qu'en tout état de cause elle ne vise que les entreprises qui entraînent elles-mêmes leurs modèles. Comment l'auditeur devrait-il décrire le domaine d'application de la norme ?

   1. Elle spécifie des exigences, et son domaine d'application est fixé par l'organisme de certification, qui décide pour chaque client si la norme lui est applicable, quelles activités sont couvertes et quels sites sont couverts.
   2. C'est uniquement un document d'orientation, de sorte que la conformité se démontre par autodéclaration, par attestation d'un fournisseur ou par revue d'un client, et aucun certificat ne peut être délivré contre elle.
   3. Elle spécifie des exigences, mais seulement pour les organisations qui conçoivent, développent, entraînent et publient leurs propres modèles d'IA, si bien qu'un utilisateur d'IA en sort.
   4. Elle spécifie des exigences et donne des orientations pour les satisfaire, et s'applique à toute organisation qui fournit ou utilise des produits ou services faisant appel à des systèmes d'IA.

5. D7 Gestion d'un programme d'audit ISO/IEC 42001

   Un organisme de certification prévoit d'auditer en une seule visite le système de management de l'IA et le système de management de la sécurité de l'information d'une entreprise technologique, et de délivrer un rapport par norme. Le responsable du programme affecte quatre auditeurs, dont un seul a déjà audité un SMIA, et maintient le temps d'audit calculé à l'époque pour le seul audit de sécurité de l'information. Comment le responsable de l'équipe d'audit devrait-il apprécier ce montage ?

   1. C'est un audit combiné, acceptable dans son principe, mais il faut recalculer le temps d'audit et la compétence collective de l'équipe pour que les deux ensembles de critères puissent vraiment être évalués.
   2. Il s'agit d'un audit conjoint, si bien que les deux disciplines exigent des équipes séparées, des rapports séparés et des visites séparées, chacune avec son responsable, son plan et son temps.
   3. Le montage peut être maintenu tel quel, car les preuves du fonctionnement des mesures de contrôle d'accès, de chiffrement et de réponse aux incidents démontrent aussi la conformité du système de management de l'IA à ses propres critères, à ses propres risques et à ses propres mesures.
   4. Auditer les deux systèmes en même temps devrait être refusé d'emblée, car des systèmes de management de disciplines différentes, de critères différents et de cycles d'audit différents ne peuvent être combinés qu'une fois les deux certificats accordés, audités et maintenus chacun séparément.

6. D2 SMIA et exigences ISO/IEC 42001

   À l'étape 2, l'auditeur examine la mesure de l'Annexe A relative à la vérification et à la validation des systèmes d'IA, que l'organisation a déclarée applicable dans sa déclaration d'applicabilité. L'organisation a mis en oeuvre la mesure par une approche propre qui s'écarte sur plusieurs points de l'orientation de mise en oeuvre de l'Annexe B, les résultats sont documentés et les critères d'acceptation que l'organisation a elle-même fixés ont été satisfaits. Comment l'auditeur devrait-il traiter cet écart ?

   1. Soulever une non-conformité mineure, puisque l'Annexe B expose comment se mettent en oeuvre les mesures de l'Annexe A et qu'une autre voie ne peut suffire.
   2. Soulever une opportunité d'amélioration recommandant un alignement sur l'Annexe B, noter la divergence dans le rapport et demander que les critères d'acceptation soient réécrits avec les mots de l'orientation.
   3. Confronter la mesure à l'exigence qu'elle énonce et à l'approche que l'organisation a elle-même documentée, car l'Annexe B est une orientation et non un critère d'audit.
   4. Enregistrer la mesure comme exclue, puisque la mettre en oeuvre par une autre voie équivaut en substance à une exclusion, et demander à l'organisation de justifier par écrit cette exclusion dans la déclaration d'applicabilité.

7. D6 Clôture d'un audit ISO/IEC 42001

   Un responsable d'équipe d'audit présente le rapport d'étape 2 d'un audit d'un système de management de l'IA. Il décrit chaque non-conformité avec ses preuves et la clause concernée, résume les entretiens menés et se termine par une recommandation de certification. Le relecteur de l'organisme de certification le renvoie comme incomplet. Quelle omission explique le mieux cette décision ?

   1. Il ne nomme pas le responsable de processus à qui chacune des non-conformités soulevées peut être imputée.
   2. Aucune conclusion n'est tirée sur le caractère approprié du périmètre de la certification, et il n'est pas confirmé que les objectifs de l'audit ont été atteints.
   3. Pour chaque non-conformité, l'action corrective que l'organisation devrait mettre en oeuvre avant la décision de certification n'est pas proposée.
   4. Les notes de travail des auditeurs et les comptes rendus d'entretien sont reproduits intégralement, matière qui relève des documents de travail et non du rapport d'audit.

8. D4 Préparation d'un audit ISO/IEC 42001

   Un organisme de certification propose quatre jours sur site pour l'audit d'étape 2 d'une organisation qui exploite onze systèmes d'IA sur trois sites, dont un modèle de triage clinique. Le responsable de l'équipe d'audit conclut que quatre jours ne permettent pas une évaluation adéquate du système de management de l'IA. Quelle est la conduite défendable ?

   1. Réaliser l'audit dans les quatre jours prévus et consigner le manque de temps comme une limitation dans le rapport d'audit.
   2. Accepter les quatre jours comme suffisants, car la durée d'un audit de certification découle uniquement de l'effectif de l'organisation auditée, de sorte que le nombre de systèmes d'IA en exploitation, la diversité des technologies qui les portent et le nombre de sites concernés n'ont aucune influence sur elle.
   3. Réduire unilatéralement le champ de l'audit aux systèmes d'IA que l'équipe peut couvrir aisément dans les quatre jours disponibles.
   4. L'équipe d'audit peut refuser la mission, car une durée proposée qui ne permet pas une évaluation adéquate du système de management rend l'audit irréalisable ; l'insuffisance est portée d'abord devant l'organisme de certification et une solution de rechange est proposée au client de l'audit.

9. D5 Réalisation d'un audit ISO/IEC 42001

   Lors d'un audit d'étape 2, un auditeur mène un entretien collectif avec quatre membres de l'équipe de validation des modèles. Un membre chevronné répond à presque toutes les questions, la conversation dérive vers une réorganisation sans aucun rapport avec la validation et deux des autres ne disent pas un mot. Que devrait faire l'auditeur ?

   1. Laisser le membre chevronné poursuivre, puisqu'un porte-parole sûr de lui économise du temps d'audit, et consigner la position du groupe comme une déclaration unique et cohérente de la pratique de validation.
   2. Ramener la conversation à la validation et adresser des questions aux membres les plus silencieux, de sorte que tous les récits aient été entendus avant de clore l'entretien.
   3. Clore l'entretien, retenir la réorganisation parmi les constatations d'audit et demander au guide d'obtenir par écrit les réponses des deux membres silencieux une fois les travaux sur site achevés.
   4. Dissoudre le groupe, interroger chaque membre séparément et écarter ce qui a été dit avant, car un format collectif rend les preuves inutilisables.

10. D3 Concepts et principes fondamentaux de l'audit

    Lors de la réunion d'ouverture d'un audit d'étape 2, l'audité propose à l'équipe d'audit un assistant d'IA interne qui répond en langage naturel aux questions sur ses politiques d'IA, ses fiches de modèle et ses journaux de modifications, et il suggère que l'équipe s'en serve au lieu de demander des documents. Comment le responsable de l'équipe d'audit doit-il répondre ?

    1. Rejeter l'assistant sans appel, puisqu'un outil fourni, configuré et hébergé par l'audité ne peut jouer aucun rôle dans un audit, et demander à la place des copies papier des enregistrements.
    2. Utiliser l'assistant pour localiser les documents et traiter ses réponses comme des déclarations de l'audité qui doivent être corroborées par les enregistrements.
    3. Accepter les réponses de l'assistant comme informations documentées, consigner les questions posées, les réponses renvoyées et la date, et réduire en conséquence l'échantillonnage des enregistrements sous-jacents.
    4. Demander que l'assistant soit certifié et s'appuyer sur ses réponses, puisqu'un outil certifié n'a pas besoin d'être vérifié.

Répondez à ces mêmes dix questions dans le simulateur et voyez l'explication de chaque option, y compris des mauvaises. Il s'ouvre sans inscription →

À propos de l'examen officiel : le format, la durée et le nombre de questions sont fixés par l'organisme qui certifie et peuvent évoluer ; confirmez-les dans sa documentation avant de vous présenter. Ce matériel entraîne la norme, pas l'examen d'un organisme particulier : il sert donc aussi si vous vous certifiez ailleurs.