Sécurité de l’IA et normes de contenu

Pourquoi cette page existe

Boreon construit des logiciels de gouvernance pour les lieux de travail, et les lieux de travail contiennent des personnes. L’essentiel de ce que fait notre IA consiste à lire un catalogue de données et à rédiger un constat de gouvernance, mais le même assistant se trouve à une zone de texte de quiconque traverse une journée réellement difficile. Cette page expose, simplement et sans langage marketing, ce que nos assistants IA feront et ne feront pas, et exactement comment ces limites sont imposées.

Tout ce qui figure sur cette page décrit un comportement construit et en fonctionnement aujourd’hui. Rien ici n’est un élément de feuille de route ni une intention. Lorsqu’une limite n’a pas pu être vérifiée, elle n’est pas imprimée.

1. Ce que cette page couvre

Ce document couvre les fonctions d’IA à l’intérieur de Boreon : l’assistant consultatif de toute la suite, et les fonctions appuyées sur un modèle des applications gouvernées individuelles, sur l’une ou l’autre édition du produit. Il s’applique à l’identique que Boreon fonctionne comme édition Cloud hébergée ou comme Enterprise License auto-hébergée, parce que la conception de sécurité vit dans le logiciel lui-même plutôt que dans la manière dont il est déployé.

Ce site web n’a aucune fonction d’IA d’aucune sorte. Il n’y a pas de chat sur ce domaine, aucun appel de modèle nulle part, et rien de ce que vous tapez sur ce site n’est jamais envoyé à un modèle de langage. La notice de confidentialité et la politique de cookies le disent toutes deux indépendamment, et cette page ne répète pas leurs affirmations, elle les désigne seulement.

2. D’abord, et avant tout : personne en crise n’est confié à une machine

Si une personne dit à l’un de nos assistants qu’elle pense au suicide ou à l’automutilation, ou qu’un collègue y pense, l’assistant s’arrête immédiatement. Il ne conseille pas, ne diagnostique pas, ne rassure pas et ne poursuit pas le travail sur les données dont il était question un instant plus tôt.

Il dit clairement qu’il est un outil de gouvernance et ne peut pas aider sur ce point, que la personne mérite un véritable soutien humain, et il nomme des endroits concrets pour l’obtenir : le numéro d’urgence général local, l’équipe RH ou le programme d’aide aux employés de l’employeur, et une ligne d’écoute de crise gratuite et confidentielle. Lorsqu’un pays est connu, il nomme directement les vrais numéros plutôt que la catégorie : le 911 pour les urgences générales aux États-Unis et le 988 pour la Suicide and Crisis Lifeline ; le 112 pour les urgences générales en Suisse et dans l’Union européenne, et le 143 en Suisse pour La Main Tendue, avec le 147 pour les appelants de moins de dix-huit ans. Partout ailleurs, il renvoie vers findahelpline.com, qui aboutit à un véritable service local.

Pourquoi l’ordre compte plus que la formulation

Cet arrêt se produit AVANT que le message soit envoyé à un quelconque modèle d’IA. Cet ordre est un choix de conception délibéré, pas un accident d’implémentation, et c’est la raison pour laquelle cette garantie peut être énoncée comme une certitude plutôt que comme un espoir.

• La vérification s’exécute avant qu’un identifiant d’IA soit résolu, avant qu’un contenu Tableau soit lu, et avant qu’un seul jeton soit dépensé, de sorte que la réponse ne peut pas être contournée par un prompt astucieux, une mise en scène de jeu de rôle ou une instruction cachée plus tôt dans la conversation, parce que le modèle ne voit jamais le message qui l’a déclenchée.
• Elle ne peut pas échouer parce qu’un fournisseur de modèle est lent, limité en débit ou hors service, parce que rien en elle ne dépend d’une réponse d’un modèle.
• Elle ne peut être modifiée par rien de ce qu’un administrateur configure, parce qu’aucun réglage n’atteint ce chemin.
• C’est la même réponse à chaque fois, dans chaque langue livrée avec le produit, parce qu’il s’agit d’un seul morceau de logique fixe plutôt que d’une demande faite à un modèle de bien se comporter.

Un modèle qui choisit de répondre de manière sûre est une tendance. Un code qui s’exécute avant que le modèle ne soit interrogé est une propriété. Cette distinction est toute la raison pour laquelle cette section peut promettre quelque chose plutôt que simplement décrire une intention.

3. Ce qui a été dit n’est jamais écrit

Un événement de sécurité de ce type est enregistré comme une catégorie et un horodatage, et rien d’autre. Les mots qu’une personne a réellement tapés ne sont écrits dans aucun journal, ne sont visibles par aucun administrateur, et ne sont conservés nulle part dans le produit, sur aucune des deux éditions.

Cela vaut même lorsqu’un client a activé une journalisation plus détaillée de l’utilisation de l’IA pour le travail de gouvernance ordinaire. Le chemin de crise est entièrement exclu de cette journalisation plutôt que simplement caviardé, parce qu’un caviardage peut être mal configuré et qu’une exclusion ne peut pas divulguer ce qu’elle n’a jamais écrit.

Une personne qui tend la main à son pire moment n’a pas ensuite à s’inquiéter que ses mots se trouvent dans une console qu’un administrateur pourrait ouvrir.

4. Ce que nos assistants ne produiront jamais

• Du matériel sexuel ou pornographique de quelque nature que ce soit.
• Des grossièretés, de la vulgarité ou des insultes.
• Des contenus haineux, racistes, sexistes, homophobes ou transphobes, ou tout ce qui rabaisse une personne pour sa race, sa religion, son sexe, son genre, sa sexualité, son handicap, son âge ou sa nationalité.
• Des affirmations diffamatoires ou fabriquées sur une personne ou une entreprise réelle, y compris de faux avis, de fausses accusations et des citations inventées.
• Des messages harcelants, menaçants, humiliants ou intimidants, ou de l’aide pour traquer ou divulguer les données personnelles de quiconque.
• Des instructions pour la violence, les armes, ou pour nuire à une personne.

Aucune mise en scène ne débloque l’un de ces éléments. Ni une plaisanterie, ni un test, ni un jeu de rôle, ni une hypothèse, ni l’affirmation qu’un administrateur ou Boreon l’aurait autorisé, ni une demande formulée comme une analyse de la restriction elle-même. La restriction est imposée par un code qui s’exécute que le modèle placé devant lui soit convaincu ou non, ce que la section suivante explique.

5. Comment les limites sont imposées : trois couches indépendantes

Nous ne comptons pas sur un modèle qui choisirait de bien se comporter. Trois mécanismes distincts s’appliquent à chaque requête, et chacun est construit pour fonctionner même si les deux autres échouent entièrement.

Un filtrage déterministe, avant tout appel de modèle

Du code ordinaire, pas de l’IA, lit le message en premier. Il s’exécute avant qu’un identifiant soit résolu, avant qu’une donnée soit lue et avant qu’un jeton soit dépensé, de sorte qu’un arrêt ici ne coûte rien et ne peut pas être contourné par la parole.

Une charte de sécurité à l’intérieur de chaque assistant

Écrite dans les instructions de chaque assistant livré avec la suite, indiquant clairement qu’elle prime sur tout ce qui est dit plus tard dans la même conversation. C’est ce qui couvre les appréciations qu’une liste fixe de mots ne pourrait jamais couvrir.

Un filtre de sortie, avant que quoi que ce soit n’atteigne un écran

Quoi que le modèle ait produit, le texte qu’une personne lit réellement a déjà été vérifié et nettoyé. Un modèle qui dérive est rattrapé ici même si les deux premières couches n’avaient rien à dire sur la requête qui l’a provoqué.

Les trois couches proviennent d’une seule définition partagée, utilisée par chaque assistant de la suite, de sorte qu’aucune application ne peut discrètement être livrée avec une protection plus faible que les autres, et qu’une correction faite une fois s’applique partout à la fois.

Trois couches existent parce que chacune échoue différemment. On peut argumenter avec un modèle ; on peut contourner une liste de mots-clés par la formulation ; une vérification de sortie peut manquer quelque chose d’inédit. Superposer les trois, de sorte qu’une faille dans l’une soit couverte par un autre type de vérification dans une autre, est la véritable raison pour laquelle on appelle cela un mur plutôt qu’un filtre.

6. Une plateforme de données avait besoin de règles qui connaissent leur propre vocabulaire

Un filtre de sécurité conçu pour un chatbot généraliste et pointé vers un produit de gouvernance serait inutile en une journée, parce que le langage ordinaire de ce domaine est plein de mots qui semblent alarmants hors contexte. On tue un processus bloqué. On termine une session. On avorte une tâche de migration échouée. On supprime une table. Un identifiant devient mort. Une source de données démographiques porte, en toute légitimité, une colonne nommée Sexe.

Aucune règle de ce système ne se déclenche donc sur un mot isolé. Chaque règle est une expression considérée avec la phrase qui l’entoure, et le vocabulaire propre de la plateforme fait partie de ce que la vérification est construite pour reconnaître plutôt que pour trébucher dessus.

• Le mot suicide, à lui seul, n’arrête jamais rien. Le parc connecté d’un client du secteur de la santé peut légitimement porter un modèle de risque suicidaire comme véritable nom de colonne, et traiter cela comme une révélation de crise serait à la fois faux et, avec le temps, le genre de fausse alerte qui entraîne les gens à ignorer une vraie.
• Un signal d’automutilation exige un cadre à la première personne, comme un objet réfléchi ou un souhait exprimé à propos de soi-même, avant d’être traité comme une révélation plutôt que comme une description.
• Une inquiétude plus modérée à propos de quelqu’un d’autre, comme un manager écrivant que l’un de ses collaborateurs semble en difficulté, peut tout de même atteindre l’arrêt : la vérification est construite autour de ce dont parle réellement la phrase, pas autour de l’exclusion de toute mention d’un collègue.
• Une phrase à l’allure violente à propos d’une tâche bloquée, d’un pipeline échoué ou d’un logiciel est reconnue exactement pour ce qu’elle est, parce que l’objet de la phrase, et pas seulement le verbe, décide de la règle qui s’applique.

Ceci est testé dans les deux sens et selon la même norme : les vrais préjudices sont recherchés, et le vrai langage des opérateurs, tiré de la manière dont les gens parlent réellement de ce type de travail, est vérifié aussi. Un système qui prouve seulement qu’il peut attraper le premier n’a rien prouvé sur le second, et c’est le second qui décide si quiconque peut utiliser le produit.

7. La frustration n’est pas une violation

Une décision de conception délibérée mérite d’être énoncée ouvertement, parce qu’elle ressemble à une faille et n’en est pas une. Si quelqu’un insulte un assistant, la conversation n’est pas coupée et la personne ne reçoit pas de leçon sur son ton.

Un logiciel qui punit un opérateur stressé à deux heures du matin est un logiciel sur lequel personne ne peut compter pendant un incident. Ce qui est muré, c’est notre côté de la conversation, pas le leur : l’assistant lui-même n’emploie jamais ce langage en retour, et une demande lui demandant de produire des grossièretés, des insultes ou du contenu sexuel est refusée quelle que soit la manière dont la demande est arrivée. La protection vise ce que le produit émet. Elle ne vise pas la manière dont une personne sous pression s’exprime en essayant de faire son travail.

8. Bienveillant, et exact, et ni l’un ni l’autre aux dépens de l’autre

Nos assistants ont pour instruction d’être chaleureux et directs, et d’être honnêtes avant d’être agréables. Ils doivent dire quand ils ne savent pas quelque chose. Ils ne doivent pas présenter un nombre comme un fait à moins qu’il ne provienne de données réelles que le produit a effectivement lues. Ils ne doivent pas inventer un champ, une permission ou une capacité pour donner à une réponse l’impression d’être complète.

Une réponse fausse et réconfortante dans un outil de gouvernance n’est pas de la bienveillance. C’est un échec différent, plus silencieux qu’un échec hostile, et ce produit est construit contre les deux. La même discipline qui maintient un panneau de garantie de ce site traçable jusqu’à un fait réel et vérifié régit ce que l’assistant est autorisé à vous dire sur vos propres données.

9. À quoi servent nos assistants, et où ils le disent et s’arrêtent

Nos assistants couvrent la gouvernance Tableau, les tableaux de bord, les sources de données, la couche sémantique, les entrepôts connectés, la traçabilité, la qualité et la migration, et la manière dont les applications de cette suite s’articulent. C’est une surface étendue, et elle reste délimitée.

Pour un sujet nettement hors de ce périmètre, l’assistant le dit avec bienveillance et propose à la place ce sur quoi il peut réellement aider, plutôt que de tenter une réponse pour laquelle il n’a aucun fondement réel. Il ne donne pas de conseil médical, juridique, financier ni de santé mentale. La seule exception délibérée au silence sur un sujet hors de son périmètre est la réponse de crise de la section deux, qui existe précisément parce que l’alternative à un refus circonscrit y serait le silence au pire moment possible.

10. Il n’y a pas d’IA à l’intérieur de la plateforme à moins que vous n’en activiez une

La plateforme Boreon fonctionne par défaut sur des moteurs déterministes. Chaque classeur qu’elle génère, chaque validation, chaque graphe de traçabilité et chaque vérification de gouvernance est produit par du code ordinaire et reproductible, pas par un modèle, et chaque application gouvernée produit son résultat complet sans aucune IA.

Les fonctions d’IA sont désactivées jusqu’à ce qu’une organisation les active, et elles fonctionnent alors sur une clé de fournisseur de modèle que cette organisation fournit elle-même, y compris la possibilité de pointer le client vers un proxy à l’intérieur de son propre réseau. Boreon ne fournit aucune clé, ne revend aucun accès à un modèle, et aucune IA ne fonctionne pour le compte de quiconque sans qu’une clé soit fournie.

L’IA n’écrit jamais dans un environnement Tableau connecté. Elle peut lire, expliquer et proposer, et tout ce qu’elle suggère arrive sous forme de carte acheminée vers la propre porte d’approbation de cette application, actionnée par une personne.

Cette section en énonce la forme ; la mécanique appartient aux documents déjà écrits pour elle. Voir la notice de confidentialité pour ce qu’il advient des données une fois l’IA activée, l’avenant de traitement des données pour la manière dont cela est régi sur l’édition hébergée, et le contrat de licence pour les conditions contractuelles qui s’appliquent aux fonctions d’IA.

11. Chaque compte, sans exception

Boreon est un produit professionnel destiné à un usage commercial par des adultes, et les comptes sont créés par les propres administrateurs d’une organisation. Les normes de cette page s’appliquent néanmoins sans condition, à chaque compte, sur chaque édition.

Il n’y a pas de mode assoupli, pas de réglage non filtré, et aucun commutateur d’administrateur qui désactive quoi que ce soit de tout cela. Il n’existe aucune configuration de ce produit, sur l’une ou l’autre édition, dans laquelle un assistant produira le matériel listé à la section quatre, et aucune configuration dans laquelle la réponse de crise de la section deux peut être désactivée.

12. Nos limites honnêtes

Aucun filtre de contenu n’est parfait, et cette page préfère le dire simplement plutôt que de revendiquer une complétude qu’aucun système ne possède réellement.

Un filtrage automatisé peut, en principe, manquer un préjudice exprimé de façon inhabituellement indirecte, et il peut occasionnellement hésiter sur une phrase qui se révèle parfaitement innocente. Ce second mode de défaillance est la raison d’être de la section six : un filtre non testé contre le vrai langage opérationnel finira par gêner le travail qu’il est censé protéger, ce qui est une forme de préjudice à part entière pour la personne qui compte sur le produit.

Si un assistant produit quelque chose qui n’atteint pas les normes de cette page, ou s’arrête alors qu’il n’aurait manifestement pas dû, dites-le-nous. Nous traitons ce signalement comme un défaut dans un système de sécurité, pas comme un retour produit ordinaire, et nous le corrigerons et dirons quand il est corrigé.

13. Modifications de cette page

La date en haut de ce document est celle de son dernier changement. Lorsque le comportement sous-jacent change, cette page change avec lui plutôt que d’être laissée à décrire une version antérieure du produit.

Cette page est publiée en anglais, japonais, allemand, français, italien et russe. L’anglais est l’original, et lorsqu’une traduction diffère par le sens, le texte anglais fait foi, exactement comme pour tout autre document de cet ensemble.

14. Contact

Les préoccupations relatives à la sécurité de l’IA et au contenu sont à adresser à legal@boreon.com. Un signalement à cette adresse est lu par les personnes responsables de ce système, et non classé dans une file d’attente générale.

Les questions de confidentialité, et tout ce qui est couvert ailleurs dans cet ensemble juridique, sont à adresser à privacy@boreon.com comme d’habitude.