La règle approuver pour exécuter, en mots simples. L’assistant lit, explique et propose, et une personne possède le chemin d’écriture. Ce que cela coûte, ce que cela rapporte, et trois questions à poser à toute fonctionnalité d’IA.
Mis à jour · 6 min de lecture
Un choix de conception se trouve sous chaque fonctionnalité d’IA ici, et aucun réglage ne peut le changer. L’assistant lit, il explique, et il propose. Le chemin d’écriture reste à une personne. Chaque chose qu’il propose arrive sous forme de carte approuver pour exécuter. Cette carte renvoie directement à la porte d’approbation humaine déjà intégrée à l’outil qui possède l’action.
C’est de l’isolation de capacité, pas une instruction. Un modèle à qui l’on dit de ne pas écrire peut encore s’y laisser entraîner, parce que le langage est la surface dont dispose un attaquant. Un modèle construit sans chemin d’écriture tient, quelle que soit la formulation de la demande. Le code pour l’exécuter n’a jamais existé.
La même règle vaut pour chaque outil gouverné. Là où un outil écrit, une personne a déjà signé pour cela à la porte propre à cet outil. Dans plusieurs d’entre eux, une personne signe deux fois.
Un assistant qui lit votre serveur lit du texte que d’autres personnes ont écrit. Des titres de classeurs. Des descriptions de champs. Des commentaires dans du SQL personnalisé. Des lignes de journal. N’importe lequel peut contenir une phrase écrite pour que le modèle lui obéisse.
Là où un assistant peut agir, chacune de ces chaînes devient un canal d’instruction. Quiconque peut publier sur votre site peut en écrire une. Ici, le chemin d’écriture appartient à une personne, si bien qu’une phrase plantée ne peut mettre qu’une réponse trompeuse sur un écran. Un lecteur la voit et décide quoi faire.
La différence de risque est grande : au pire une mauvaise phrase sur un écran, jamais une source de données supprimée.
Le coût est réel et mérite d’être dit tout haut. Un contrôle décrit uniquement par ses bénéfices se lit comme un slogan.
Pour un produit de gouvernance, les trois sont le bon échange. Vous êtes responsable de votre propre environnement. Un produit qui y agit de sa propre initiative laisse cette responsabilité exactement là où elle était, et ajoute un acteur que personne ne peut interroger plus tard.
La règle a une forme plus forte : le chemin par défaut s’exécute sans aucun modèle. L’analyse est déterministe jusqu’à ce que quelqu’un coche une case, et l’interface le dit avec ses propres mots.
Rien de coché : l’analyse s’exécute sur le moteur déterministe rapide.
C’est ce qui transforme un rapport en preuve. Relancez une vérification de qualité le trimestre prochain, obtenez la même réponse, et vous pouvez la joindre à une décision. Une réponse qui bouge avec la version du modèle derrière elle ne peut pas être reproduite. Ce n’est pas une preuve.
Le scanner Risk va plus loin, et chaque chemin en son sein est déterministe. Un scan qui décide si des données personnelles sont exposées doit être répétable, et répétable est la seule conception défendable. Une détection que vous pouvez reproduire est une détection sur laquelle vous pouvez agir.
Cette dernière ligne est la question à poser à tout produit d’IA que vous examinez. Demandez ce que le journal d’audit stocke. Si la réponse est la conversation, vous détenez maintenant une seconde copie de vos données. Elle se trouve dans un système que votre travail de classification des données n’a jamais examiné.
Un assistant qui ne fait que lire peut encore lire plus qu’il ne devrait. Deux frontières s’en chargent, et elles fonctionnent indépendamment.
Par-dessus les deux, une métrique nommée dans une question est vérifiée contre le contrat stocké avant que quoi que ce soit n’atteigne un entrepôt. Une mesure garde une définition, quels que soient les mots employés dans la question.
La quatrième est celle qui fait approuver les projets. La plupart des équipes ne choisissent pas entre un assistant gouverné et un assistant non gouverné. Elles choisissent entre un assistant gouverné et rien du tout, et rien du tout est ce qu’elles ont choisi jusqu’ici.
Ces trois réponses vous en disent plus que n’importe quel chiffre de précision. Mieux encore, quelqu’un de votre propre équipe peut vérifier chacune d’elles en un après-midi.
Une couche sémantique donne à une métrique un seul foyer. Chaque outil qui calcule la métrique lit ce foyer unique. Tous obtiennent le même chiffre. Voici ce que cela signifie en pratique, et ce qui change quand vous exploitez plus d’un entrepôt.
Une affirmation est une phrase. Une preuve est quelque chose qu’une seconde personne peut vérifier sans vous demander. Ce qu’une piste d’audit doit contenir, ce qu’un hachage prouve réellement, et ce qu’il faut exiger de tout outil qui prétend en produire une.
Deux identifiants Tableau qui font deux métiers différents. L’un porte les permissions d’une personne. L’autre étend une capacité de la plateforme. Choisir le bon garde aux commandes de qui voit quoi un modèle de permissions que vous avez mis des années à construire.