Cosa serve a un auditor da un log di utilizzo dell’IA

Cinque domande a cui un log risponde

Un auditor che arriva a una funzione di IA chiede una cosa sola: questa organizzazione sa rendere conto di ciò che ha fatto. Quanto sia intelligente il modello viene dopo. Cinque domande portano quasi tutta la risposta.

1. Chi ha chiesto. Una persona con un nome, presa dalla sessione connessa, non un account di servizio che tutti condividono.
2. Quando. Un orario su ogni riga, in una sequenza che un lettore può seguire in ordine.
3. Quale modello. Il modello che ha risposto, letto dalla risposta, non dall’impostazione. Un ripiego silenzioso su un modello diverso è esattamente l’evento che vuoi vedere.
4. Quanto è costato. Token in ingresso, token in uscita, e una cifra in denaro etichettata come la stima che è.
5. Che forma aveva la risposta. Quante righe ha restituito una query, cosa ha letto l’assistente lungo la strada, quante azioni ha proposto. La forma, senza il contenuto.

Un log che risponde a quelle cinque può essere consegnato a un revisore. Un log che risponde a tre avvia una conversazione sulle altre due, di solito nel momento peggiore possibile.

Cosa porta una riga

Identità e luogo

La persona connessa, e la superficie su cui si trovava quando ha chiesto. Il luogo conta: la stessa domanda significa qualcosa di diverso posta da una console di audit e da una migrazione.

Il modello

L’id del modello riportato dalla risposta.

I token

Conteggi in ingresso e conteggi in uscita. È l’unica cifra di utilizzo che si riconcilia con la fattura di un fornitore.

I passi di lettura

Le letture osservabili che l’assistente ha fatto componendo la sua risposta, conservate come etichette. È così che un revisore vede da dove viene un numero.

Le proposte

Quante azioni approva per eseguire la risposta ha messo davanti alla persona. Un conteggio. Una giornata insolita si vede senza aprire nulla.

I passi di lettura sono il campo che la maggior parte dei log tralascia, e il campo verso cui un revisore allunga la mano per primo. Una risposta diventa verificabile quando puoi vedere cosa ha consultato. Altrimenti un revisore confronta un paragrafo con la propria memoria dei dati. È la posizione da cui il log è stato costruito per tirarlo fuori.

Due tipi di riga

L’utilizzo da un assistente conversazionale e l’utilizzo da una funzione dentro uno strumento sono eventi diversi. Vengono registrati come tipi di riga diversi.

• Le righe dell’assistente vengono scritte dove un prompt e una risposta esistono sul server. Portano i metadati più completi: persona, superficie, modello, token, passi di lettura e conteggio delle proposte.
• Le righe degli strumenti vengono emesse da ogni strumento mentre lavora. Portano solo l’utilizzo: quale strumento, quale persona, quale modello, quanti token. Gli strumenti non emettono contenuti, quindi una riga non ne ha fin dall’inizio.

Fondere le due darebbe una tabella con metà delle colonne perennemente vuote. Una colonna vuota si legge come un valore mancante e non come una categoria che non ne ha mai avuto uno. Due forme oneste battono una forma con dei buchi.

Il contenuto resta con il suo autore

La cosa più forte che un log di IA può fare è registrare tutto di una chiamata tranne il suo contenuto. Per impostazione predefinita queste righe portano solo metadati. Le ragioni riguardano la governance, non lo spazio di archiviazione.

Una riga predefinita registra chi, dove, quale modello, quanti token, cosa è stato letto, e quante azioni sono state proposte.

• Un amministratore che legge trascrizioni sta leggendo gli appunti di lavoro dei colleghi. È un potere diverso dal leggere una traccia di audit, e non è mai stato il potere richiesto alla console.
• Un archivio di trascrizioni è una seconda copia dei tuoi dati, in un posto che il tuo lavoro di classificazione non ha mai valutato. Qualunque cosa un prompt abbia citato da un’origine dati ora vive anche in un file di log.
• La conservazione diventa una domanda a cui hai già risposto. I metadati di utilizzo possono restare lì per anni senza che nessuno perda il sonno. Le trascrizioni pongono una domanda più difficile ogni anno in cui vengono conservate.

L’acquisizione completa resta disponibile, e si attiva deliberatamente. È lì per un deployment regolamentato la cui policy richiede l’audit dei contenuti e lo dice per iscritto, e resta l’eccezione. Un team che ne ha bisogno sa di averne bisogno, e tutti gli altri tengono un log che possono conservare senza una seconda revisione.

Cosa registra una query

Dove l’assistente esegue una query, la query stessa viene sottoposta ad audit. L’istruzione che ha eseguito, quanto ha impiegato, quante righe sono tornate, e se è riuscita. Le celle restituite restano fuori dal record. Il numero di righe è la forma che vale la pena conservare, e i dati sono già dove devono stare.

I rifiuti vengono registrati con lo stesso peso dei successi, e questa è la parte che vale la pena difendere. Una query che il guardiano ha respinto è la riga più informativa del file. È l’unico posto in cui un lettore può guardare il confine fare il suo lavoro. Un log che tiene solo le chiamate riuscite ha cancellato in silenzio la propria prova.

L’ambito in cui una query è girata viene registrato come hash, non come nome. Un revisore può comunque distinguere due ambiti e seguire le righe lungo una sessione. Il log stesso evita di diventare un elenco di chi ha accesso a cosa.

Il costo, etichettato come stima

Le cifre in denaro in una console di IA sono calcolate dai conteggi dei token e da una tabella di prezzi conservata nel software. Questo le rende utili per individuare un cambiamento di comportamento, e sbagliate per qualsiasi altra cosa.

• Sono una stima dell’operatore, e l’interfaccia lo dice. Una cifra presentata come una fattura verrà trattata come tale dalla prima persona che la fotografa.
• I prezzi si muovono. Una tabella distribuita in una release riflette i prezzi del giorno in cui è stata scritta, e la fattura del tuo fornitore è l’autorità.
• I conteggi dei token sono la parte durevole. Si riconciliano con il tuo fornitore, non diventano mai obsoleti, e una conversazione sui costi si costruisce meglio su di essi.

Il valore della stima è comparativo. L’utilizzo di una persona rispetto a un’altra, questo mese rispetto allo scorso, uno strumento rispetto agli altri. Quelle letture restano solide anche quando la cifra assoluta si è allontanata dal listino.

Limitato, e onesto quando è vuoto

• È limitato. Il file ha un tetto e le righe più vecchie cadono via, così un log di audit non può mai riempire il disco da cui dipende il prodotto in esecuzione.
• Su disco è riservato al proprietario, viene accodato una riga alla volta, e riletto dal più recente.
• Resta fuori dal percorso critico. Un fallimento nello scrivere una riga viene assorbito, non sollevato. Un disco pieno lascia intatta la sessione di lavoro di qualcuno. Il confine che ferma una query cattiva gira prima del log, e non ne viene toccato.
• È onesto quando è vuoto. Con la funzione dormiente l’archivio non contiene nulla e la console lo dice, senza cifre inventate per riempire la scheda.

L’ultimo sembra il più piccolo, e decide se qualcuno crede agli altri tre. Una dashboard disposta a mostrare zero quando non c’è nulla da mostrare è una di cui puoi fidarti il giorno in cui mostra qualcosa.