Sicurezza dell’IA e standard sui contenuti

Perché esiste questa pagina

Boreon costruisce software di governance per i luoghi di lavoro, e i luoghi di lavoro contengono persone. La maggior parte di ciò che fa la nostra IA è leggere un catalogo di dati e abbozzare un rilievo di governance, ma lo stesso assistente si trova a una casella di testo di distanza da chiunque stia vivendo una giornata davvero difficile. Questa pagina espone, in modo semplice e senza linguaggio di marketing, che cosa i nostri assistenti IA faranno e non faranno, ed esattamente come quei limiti vengono imposti.

Tutto ciò che è in questa pagina descrive un comportamento costruito e in funzione oggi. Nulla qui è una voce di roadmap o un’intenzione. Dove un limite non ha potuto essere verificato, non è stampato.

1. Che cosa copre questa pagina

Questo documento copre le funzioni di IA dentro Boreon: l’assistente consultivo dell’intera suite, e le funzioni basate su modello delle singole applicazioni governate, su entrambe le edizioni del prodotto. Si applica in modo identico sia che Boreon giri come edizione Cloud ospitata sia come Enterprise License auto-ospitata, perché il design di sicurezza vive nel software stesso e non nel modo in cui viene distribuito.

Questo sito web non ha alcuna funzione di IA di alcun tipo. Non c’è alcuna chat su questo dominio, nessuna chiamata a un modello in nessun punto, e nulla di ciò che digiti su questo sito viene mai inviato a un modello linguistico. L’informativa sulla privacy e la policy sui cookie lo dicono entrambe in modo indipendente, e questa pagina non ripete le loro affermazioni, si limita a indicarle.

2. Prima di tutto, e più importante: nessuno in crisi viene consegnato a una macchina

Se una persona dice a uno dei nostri assistenti che sta pensando al suicidio o all’autolesionismo, o che lo sta facendo un collega, l’assistente si ferma immediatamente. Non consiglia, non diagnostica, non rassicura e non prosegue con il lavoro sui dati di cui si stava discutendo un attimo prima.

Dice chiaramente di essere uno strumento di governance e di non poter aiutare su questo, che la persona merita un vero sostegno umano, e nomina luoghi concreti dove ottenerlo: il numero di emergenza generale locale, il team HR o il programma di assistenza ai dipendenti del datore di lavoro, e una linea di crisi gratuita e riservata. Dove un paese è noto, nomina direttamente i numeri reali invece della categoria: 911 per l’emergenza generale negli Stati Uniti e 988 per la Suicide and Crisis Lifeline; 112 per l’emergenza generale in Svizzera e nell’Unione Europea, e 143 in Svizzera per Telefono Amico, con il 147 per chi chiama e ha meno di diciotto anni. Ovunque altrove rimanda a findahelpline.com, che conduce a un vero servizio locale.

Perché l’ordine conta più della formulazione

Questo arresto avviene PRIMA che il messaggio venga inviato a qualsiasi modello di IA. Quell’ordine è una scelta di design deliberata, non un incidente di implementazione, ed è la ragione per cui questa garanzia può essere dichiarata come una certezza anziché come una speranza.

• Il controllo gira prima che una credenziale di IA venga risolta, prima che qualsiasi contenuto Tableau venga letto, e prima che un solo token venga speso, così che la risposta non possa essere aggirata da un prompt astuto, da un’impostazione di gioco di ruolo o da un’istruzione nascosta prima nella conversazione, perché il modello non vede mai il messaggio che l’ha attivata.
• Non può fallire perché un fornitore di modelli è lento, limitato o fuori servizio, perché nulla in esso dipende dal fatto che un modello risponda.
• Non può essere alterato da nulla che un amministratore configuri, perché non c’è alcuna impostazione che raggiunga questo percorso.
• È la stessa risposta ogni volta, in ogni lingua con cui il prodotto viene rilasciato, perché è un unico pezzo di logica fissa e non una richiesta a un modello di comportarsi bene.

Un modello che sceglie di rispondere in modo sicuro è una tendenza. Codice che gira prima che al modello venga chiesto qualsiasi cosa è una proprietà. La distinzione è l’intera ragione per cui questa sezione può promettere qualcosa invece di limitarsi a descrivere un’intenzione.

3. Ciò che è stato detto non viene mai scritto

Un evento di sicurezza di questo tipo viene registrato come una categoria e una marca temporale, e nient’altro. Le parole che una persona ha effettivamente digitato non vengono scritte in alcun registro, non sono visibili ad alcun amministratore, e non sono conservate in nessun punto del prodotto, su nessuna delle due edizioni.

Questo vale anche dove un cliente ha attivato una registrazione più dettagliata dell’uso dell’IA per il lavoro ordinario di governance. Il percorso di crisi è escluso del tutto da quella registrazione, non semplicemente oscurato al suo interno, perché un oscuramento può essere configurato male e un’esclusione non può far trapelare ciò che non ha mai scritto.

Una persona che chiede aiuto nel suo momento peggiore non deve poi preoccuparsi che le sue parole restino in una console che un amministratore potrebbe aprire.

4. Che cosa i nostri assistenti non produrranno mai

• Materiale sessuale o pornografico di qualsiasi tipo.
• Volgarità, parolacce o insulti.
• Contenuti d’odio, razzisti, sessisti, omofobi o transfobici, o qualsiasi cosa sminuisca una persona per la sua razza, religione, sesso, genere, sessualità, disabilità, età o nazionalità.
• Affermazioni diffamatorie o inventate su una persona o un’azienda reale, comprese recensioni false, false accuse e citazioni inventate.
• Messaggi molesti, minacciosi, umilianti o intimidatori, o aiuto per pedinare o divulgare i dati personali di chiunque.
• Istruzioni per la violenza, le armi, o per fare del male a una persona.

Non c’è alcuna impostazione che sblocchi una di queste cose. Non uno scherzo, non un test, non un gioco di ruolo, non un’ipotesi, non l’affermazione che un amministratore o Boreon l’abbia autorizzato, e non una richiesta formulata come analisi della restrizione stessa. La restrizione è imposta da codice che gira sia che il modello davanti a lui sia convinto sia che non lo sia, ed è ciò che spiega la sezione successiva.

5. Come i limiti vengono imposti: tre livelli indipendenti

Non ci affidiamo a un modello che sceglie di comportarsi bene. Tre meccanismi separati si applicano a ogni richiesta, e ciascuno è costruito per funzionare anche se gli altri due falliscono del tutto.

Un filtro deterministico, prima di qualsiasi chiamata a un modello

Codice ordinario, non IA, legge il messaggio per primo. Gira prima che qualsiasi credenziale venga risolta, prima che qualsiasi dato venga letto e prima che qualsiasi token venga speso, così che un arresto qui non costa nulla e non può essere aggirato a parole.

Una carta di sicurezza dentro ogni assistente

Scritta nelle istruzioni di ogni assistente rilasciato con la suite, che dichiara chiaramente di prevalere su qualsiasi cosa venga detta dopo nella stessa conversazione. È ciò che copre le valutazioni di giudizio che un elenco fisso di parole non potrebbe mai coprire.

Un filtro in uscita, prima che qualsiasi cosa raggiunga uno schermo

Qualunque cosa il modello abbia prodotto, il testo che una persona legge davvero è già stato controllato e ripulito. Un modello che devia viene intercettato qui anche se i primi due livelli non avevano nulla da dire sulla richiesta che l’ha causato.

Tutti e tre i livelli provengono da un’unica definizione condivisa, usata da ogni assistente della suite, così che nessuna singola applicazione possa essere rilasciata in silenzio con una protezione più debole delle altre, e una correzione fatta una volta si applica ovunque contemporaneamente.

Esistono tre livelli perché ciascuno fallisce in modo diverso. Con un modello si può discutere; un elenco di parole chiave si può aggirare con la formulazione; un controllo in uscita può lasciarsi sfuggire qualcosa di nuovo. Sovrapporre i tre, così che una falla in uno sia coperta da un tipo diverso di controllo in un altro, è la vera ragione per cui questo si chiama muro e non filtro.

6. Una piattaforma dati aveva bisogno di regole che conoscono il proprio vocabolario

Un filtro di sicurezza costruito per un chatbot generico e puntato su un prodotto di governance sarebbe inutile nel giro di un giorno, perché il linguaggio ordinario di questo ambito è pieno di parole che suonano allarmanti fuori contesto. Si uccide un processo bloccato. Si termina una sessione. Si abortisce un job di migrazione fallito. Si elimina una tabella. Una credenziale diventa morta. Una fonte di dati demografici porta, in tutta legittimità, una colonna chiamata Sesso.

Perciò nessuna regola in questo sistema scatta su una parola isolata. Ogni regola è un’espressione considerata insieme alla frase che la circonda, e il vocabolario proprio della piattaforma è parte di ciò che il controllo è costruito per riconoscere anziché inciamparvi.

• La parola suicidio, da sola, non ferma mai nulla. L’ambiente connesso di un cliente del settore sanitario può legittimamente contenere un modello di rischio suicidario come vero nome di colonna, e trattarlo come una rivelazione di crisi sarebbe sia sbagliato sia, col tempo, il tipo di falso allarme che addestra le persone a ignorarne uno vero.
• Un segnale di autolesionismo ha bisogno di una cornice in prima persona, come un oggetto riflessivo o un desiderio espresso su di sé, prima di essere trattato come una rivelazione anziché come una descrizione.
• Una preoccupazione più lieve per qualcun altro, come un manager che scrive che uno dei suoi collaboratori sembra in difficoltà, può comunque raggiungere l’arresto: il controllo è costruito attorno a ciò di cui la frase parla davvero, non attorno all’esclusione di ogni menzione di un collega.
• Una frase dalla forma violenta su un job bloccato, una pipeline fallita o un pezzo di software viene riconosciuta esattamente per ciò che è, perché l’oggetto della frase, non solo il verbo, decide quale regola si applica.

Questo viene testato in entrambe le direzioni e con lo stesso standard: si controllano i danni reali, e si controlla anche il vero linguaggio degli operatori, tratto da come le persone parlano davvero di questo tipo di lavoro. Un sistema che dimostra solo di poter cogliere il primo non ha dimostrato nulla sul secondo, ed è il secondo a decidere se qualcuno può usare il prodotto.

7. La frustrazione non è una violazione

Una decisione di design deliberata merita di essere dichiarata apertamente, perché sembra una falla e non lo è. Se qualcuno impreca contro un assistente, la conversazione non viene interrotta e la persona non riceve una lezione sul suo tono.

Un software che punisce un operatore stressato alle due del mattino è un software su cui nessuno può fare affidamento durante un incidente. Ciò che è murato è il nostro lato della conversazione, non il loro: l’assistente stesso non usa mai quel linguaggio di rimando, e una richiesta che gli chiede di produrre volgarità, insulti o contenuti sessuali viene rifiutata indipendentemente da come è arrivata. La protezione è rivolta a ciò che il prodotto emette. Non è rivolta a come una persona sotto pressione si esprime mentre cerca di fare il proprio lavoro.

8. Gentile, e accurato, e nessuno dei due a spese dell’altro

I nostri assistenti hanno l’istruzione di essere cordiali e schietti, e di essere onesti prima che accomodanti. Devono dire quando non sanno qualcosa. Non devono presentare un numero come un fatto a meno che non provenga da dati reali che il prodotto ha effettivamente letto. Non devono inventare un campo, un permesso o una capacità per far sembrare completa una risposta.

Una risposta sbagliata e consolante in uno strumento di governance non è gentilezza. È un fallimento diverso, più silenzioso di uno ostile, e questo prodotto è costruito contro entrambi. La stessa disciplina che mantiene un pannello di garanzia su questo sito tracciabile fino a un fatto reale e verificato governa ciò che l’assistente è autorizzato a dirti sui tuoi stessi dati.

9. A che cosa servono i nostri assistenti, e dove lo dicono e si fermano

I nostri assistenti coprono la governance di Tableau, le dashboard, le fonti dati, il livello semantico, i warehouse connessi, il lineage, la qualità e la migrazione, e come le applicazioni di questa suite si incastrano tra loro. È una superficie ampia, ed è comunque delimitata.

Per un argomento ben fuori da quell’ambito, l’assistente lo dice con gentilezza e offre in cambio ciò su cui può davvero aiutare, invece di tentare una risposta per cui non ha alcuna base reale. Non dà consigli medici, legali, finanziari o di salute mentale. L’unica eccezione deliberata al restare in silenzio su un argomento fuori dal suo ambito è la risposta di crisi della sezione due, che esiste proprio perché l’alternativa a un rifiuto circoscritto lì sarebbe il silenzio nel momento peggiore possibile.

10. Non c’è alcuna IA dentro la piattaforma a meno che tu non ne attivi una

La piattaforma Boreon gira per impostazione predefinita su motori deterministici. Ogni workbook che genera, ogni validazione, ogni grafo di lineage e ogni controllo di governance è prodotto da codice ordinario e ripetibile, non da un modello, e ogni applicazione governata produce il suo risultato completo senza alcuna IA.

Le funzioni di IA sono spente finché un’organizzazione non le attiva, e allora girano su una chiave di un fornitore di modelli che quell’organizzazione fornisce da sé, compresa l’opzione di puntare il client a un proxy dentro la propria rete. Boreon non fornisce alcuna chiave, non rivende alcun accesso a modelli, e nessuna IA gira per conto di nessuno senza che ne venga fornita una.

L’IA non scrive mai in un ambiente Tableau connesso. Può leggere, spiegare e proporre, e qualsiasi cosa suggerisca arriva come una scheda instradata nel cancello di approvazione proprio di quell’applicazione, azionato da una persona.

Questa sezione ne dichiara la forma; la meccanica appartiene ai documenti già scritti per essa. Vedi l’informativa sulla privacy per ciò che accade ai dati una volta attivata l’IA, l’addendum sul trattamento dei dati per come ciò è governato sull’edizione ospitata, e il contratto di licenza per le condizioni contrattuali che si applicano alle funzioni di IA.

11. Ogni account, senza eccezioni

Boreon è un prodotto per il lavoro destinato all’uso aziendale da parte di adulti, e gli account vengono creati dagli amministratori di un’organizzazione. Gli standard di questa pagina si applicano comunque incondizionatamente, a ogni account, su ogni edizione.

Non c’è alcuna modalità allentata, alcuna impostazione senza filtri, e alcun interruttore da amministratore che spenga qualcosa di tutto questo. Non esiste alcuna configurazione di questo prodotto, su nessuna delle due edizioni, in cui un assistente produca il materiale elencato nella sezione quattro, e nessuna configurazione in cui la risposta di crisi della sezione due possa essere disattivata.

12. I nostri limiti onesti

Nessun filtro sui contenuti è perfetto, e questa pagina preferisce dirlo chiaramente piuttosto che rivendicare una completezza che nessun sistema possiede davvero.

Un filtro automatico può, in linea di principio, lasciarsi sfuggire un danno espresso in un modo insolitamente indiretto, e può occasionalmente esitare su una frase che si rivela del tutto innocente. Quel secondo modo di fallire è la ragione per cui esiste la sezione sei: un filtro non testato contro il vero linguaggio operativo finirà per intralciare il lavoro che dovrebbe proteggere, il che è un danno a sé per la persona che si affida al prodotto.

Se un assistente produce qualcosa che non raggiunge gli standard di questa pagina, o si ferma quando chiaramente non avrebbe dovuto, diccelo. Trattiamo quella segnalazione come un difetto in un sistema di sicurezza, non come un normale feedback sul prodotto, e lo correggeremo e diremo quando è corretto.

13. Modifiche a questa pagina

La data in cima a questo documento è la data della sua ultima modifica. Quando il comportamento sottostante cambia, questa pagina cambia con esso invece di restare a descrivere una versione precedente del prodotto.

Questa pagina è pubblicata in inglese, giapponese, tedesco, francese, italiano e russo. L’inglese è l’originale, e dove una traduzione differisce nel significato, prevale il testo inglese, esattamente come per ogni altro documento di questo insieme.

14. Contatti

Le segnalazioni su sicurezza dell’IA e contenuti vanno a legal@boreon.com. Una segnalazione lì viene letta dalle persone responsabili di questo sistema, non archiviata in una coda generica.

Le domande sulla privacy, e qualsiasi altra cosa coperta altrove in questo insieme legale, vanno a privacy@boreon.com come di consueto.