Ce dont un auditeur a besoin dans un journal d’usage de l’IA
Qui a demandé, quand, quel modèle a répondu, ce que cela a coûté, et quelle forme avait la réponse. Les champs qui transforment un journal d’IA en preuve, les deux sortes de lignes à garder séparées, et l’argument pour laisser le contenu des conversations là où il a été écrit.
Un auditeur qui arrive sur une fonctionnalité d’IA pose une seule question : cette organisation peut-elle rendre compte de ce qu’elle a fait. L’intelligence du modèle vient ensuite. Cinq questions portent presque toute la réponse.
Qui a demandé. Une personne nommée, prise dans la session connectée, pas un compte de service que tout le monde partage.
Quand. Une heure sur chaque ligne, dans une séquence qu’un lecteur peut suivre dans l’ordre.
Quel modèle. Le modèle qui a répondu, lu dans la réponse, pas dans le réglage. Un repli silencieux vers un autre modèle est exactement l’événement que vous voulez voir.
Ce que cela a coûté. Jetons en entrée, jetons en sortie, et un montant étiqueté comme l’estimation qu’il est.
Quelle forme avait la réponse. Combien de lignes une requête a renvoyées, ce que l’assistant a lu en chemin, combien d’actions il a proposées. La forme, sans le contenu.
Un journal qui répond à ces cinq questions peut être remis à un relecteur. Un journal qui répond à trois entame une conversation sur les deux autres, généralement au pire moment possible.
Ce qu’une ligne porte
Identité et lieu
La personne connectée, et la surface sur laquelle elle se trouvait quand elle a demandé. Le lieu compte : la même question ne veut pas dire la même chose posée depuis une console d’audit et depuis une migration.
Le modèle
L’identifiant de modèle rapporté par la réponse.
Les jetons
Les comptes en entrée et en sortie. C’est le seul chiffre d’usage qui se rapproche d’une facture de fournisseur.
Les étapes de lecture
Les lectures observables que l’assistant a faites en composant sa réponse, conservées sous forme d’étiquettes. C’est ainsi qu’un relecteur voit d’où vient un chiffre.
Les propositions
Combien d’actions approuver pour exécuter la réponse a placées devant la personne. Un compte. Une journée inhabituelle se voit sans rien ouvrir.
Les étapes de lecture sont le champ que la plupart des journaux omettent, et le champ vers lequel un relecteur tend la main en premier. Une réponse devient vérifiable dès qu’on peut voir ce qu’elle a consulté. Sinon, un relecteur compare un paragraphe à son propre souvenir des données. C’est la position dont le journal a été construit pour le sortir.
Deux sortes de lignes
L’usage d’un assistant conversationnel et l’usage d’une fonctionnalité à l’intérieur d’un outil sont des événements différents. Ils sont enregistrés comme des sortes de lignes différentes.
Les lignes d’assistant sont écrites là où un prompt et une réponse existent sur le serveur. Elles portent les métadonnées les plus complètes : personne, surface, modèle, jetons, étapes de lecture et nombre de propositions.
Les lignes d’outil sont émises par chaque outil pendant son travail. Elles ne portent que l’usage : quel outil, quelle personne, quel modèle, combien de jetons. Les outils n’émettent aucun contenu, donc une ligne n’en contient aucun dès le départ.
Fusionner les deux donnerait une table dont la moitié des colonnes seraient définitivement vides. Une colonne vide se lit comme une valeur manquante plutôt que comme une catégorie qui n’en a jamais eu. Deux formes honnêtes valent mieux qu’une forme trouée.
Le contenu reste avec son auteur
La chose la plus forte qu’un journal d’IA puisse faire est d’enregistrer tout d’un appel sauf son contenu. Par défaut, ces lignes ne portent que des métadonnées. Les raisons relèvent de la gouvernance, pas du stockage.
Une ligne par défaut enregistre qui, où, quel modèle, combien de jetons, ce qui a été lu, et combien d’actions ont été proposées.
Un administrateur qui lit des transcriptions lit les notes de travail de ses collègues. C’est un pouvoir différent de la lecture d’une piste d’audit, et ce n’est jamais le pouvoir qu’on a demandé à la console.
Un stockage de transcriptions est une seconde copie de vos données, à un endroit que votre travail de classification n’a jamais évalué. Tout ce qu’un prompt a cité d’une source de données vit désormais aussi dans un fichier journal.
La conservation devient une question à laquelle vous avez déjà répondu. Des métadonnées d’usage peuvent rester là des années sans que personne n’en perde le sommeil. Les transcriptions posent une question plus difficile à chaque année où elles sont gardées.
La capture complète reste disponible, et elle s’active délibérément. Elle est là pour un déploiement réglementé dont la propre politique exige un audit du contenu et le dit par écrit, et elle reste l’exception. Une équipe qui en a besoin sait qu’elle en a besoin, et tous les autres gardent un journal qu’ils peuvent conserver sans seconde revue.
Ce qu’une requête enregistre
Là où l’assistant exécute une requête, la requête elle-même est auditée. L’instruction qu’il a exécutée, le temps qu’elle a pris, combien de lignes sont revenues, et si elle a réussi. Les cellules renvoyées restent hors du registre. Le nombre de lignes est la forme qui vaut la peine d’être gardée, et les données sont déjà là où elles doivent être.
Les refus sont enregistrés avec le même poids que les succès, et c’est la partie qu’il vaut la peine de défendre. Une requête que le garde a écartée est la ligne la plus informative du fichier. C’est le seul endroit où un lecteur peut voir la frontière faire son travail. Un journal qui ne garde que les appels qui ont fonctionné a discrètement supprimé sa propre preuve.
Le périmètre dans lequel une requête a tourné est enregistré sous forme de hachage, pas de nom. Un relecteur peut toujours distinguer deux périmètres et suivre des lignes au long d’une session. Le journal lui-même évite de devenir un annuaire de qui a accès à quoi.
Le coût, étiqueté comme une estimation
Les montants dans une console d’IA sont calculés à partir des comptes de jetons et d’une table de prix conservée dans le logiciel. Cela les rend utiles pour repérer un changement de comportement, et faux pour tout le reste.
Ce sont des estimations d’exploitant, et l’interface le dit. Un montant présenté comme une facture sera traité comme tel par la première personne qui en fera une capture d’écran.
Les prix bougent. Une table livrée dans une version reflète les prix du jour où elle a été écrite, et la facture de votre fournisseur fait autorité.
Les comptes de jetons sont la partie durable. Ils se rapprochent de votre fournisseur, ils ne deviennent jamais obsolètes, et une conversation sur les coûts se construit mieux sur eux.
La valeur de l’estimation est comparative. L’usage d’une personne contre celui d’une autre, ce mois-ci contre le précédent, un outil contre les autres. Ces lectures restent saines même quand le chiffre absolu a dérivé de la liste de prix.
Borné, et honnête quand il est vide
Il est borné. Le fichier est plafonné et les lignes les plus anciennes disparaissent, si bien qu’un journal d’audit ne peut jamais remplir le disque dont dépend le produit en marche.
Il est réservé au propriétaire sur disque, complété une ligne à la fois, et relu du plus récent au plus ancien.
Il reste hors du chemin critique. Un échec d’écriture d’une ligne est avalé, pas levé. Un disque plein laisse la session de travail de quelqu’un intacte. La frontière qui arrête une mauvaise requête s’exécute avant le journal, et n’en est pas affectée.
Il est honnête quand il est vide. Avec la fonctionnalité en sommeil, le stockage ne contient rien et la console le dit, sans chiffre inventé pour remplir la carte.
Le dernier point semble le plus petit, et il décide si quiconque croit les trois autres. Un tableau de bord prêt à afficher zéro quand il n’y a rien à montrer est un tableau de bord auquel vous pouvez faire confiance le jour où il montre quelque chose.
Une affirmation est une phrase. Une preuve est quelque chose qu’une seconde personne peut vérifier sans vous demander. Ce qu’une piste d’audit doit contenir, ce qu’un hachage prouve réellement, et ce qu’il faut exiger de tout outil qui prétend en produire une.
La règle approuver pour exécuter, en mots simples. L’assistant lit, explique et propose, et une personne possède le chemin d’écriture. Ce que cela coûte, ce que cela rapporte, et trois questions à poser à toute fonctionnalité d’IA.
Deux identifiants Tableau qui font deux métiers différents. L’un porte les permissions d’une personne. L’autre étend une capacité de la plateforme. Choisir le bon garde aux commandes de qui voit quoi un modèle de permissions que vous avez mis des années à construire.