Was ein Prüfer von einem KI-Nutzungsprotokoll braucht

Fünf Fragen, die ein Log beantwortet

Ein Prüfer, der bei einer KI-Funktion ankommt, fragt eine Sache: Kann diese Organisation Rechenschaft darüber ablegen, was sie getan hat. Wie klug das Modell ist, kommt an zweiter Stelle. Fünf Fragen tragen fast die ganze Antwort.

1. Wer gefragt hat. Eine namentlich bekannte Person, aus der angemeldeten Sitzung genommen, kein Dienstkonto, das alle teilen.
2. Wann. Eine Zeit auf jeder Zeile, in einer Abfolge, der ein Leser der Reihe nach folgen kann.
3. Welches Modell. Das Modell, das geantwortet hat, aus der Antwort gelesen, nicht aus der Einstellung. Ein stiller Rückfall auf ein anderes Modell ist genau das Ereignis, das Sie sichtbar haben wollen.
4. Was es gekostet hat. Tokens hinein, Tokens heraus, und eine Geldzahl, die als die Schätzung gekennzeichnet ist, die sie ist.
5. Welche Form die Antwort hatte. Wie viele Zeilen eine Abfrage zurückgegeben hat, was der Assistent unterwegs gelesen hat, wie viele Aktionen er vorgeschlagen hat. Die Form, ohne den Inhalt.

Ein Log, das diese fünf beantwortet, lässt sich einem Prüfer übergeben. Ein Log, das drei beantwortet, beginnt ein Gespräch über die anderen zwei, meist im denkbar schlechtesten Moment.

Was eine Zeile trägt

Identität und Ort

Die angemeldete Person und die Oberfläche, auf der sie war, als sie gefragt hat. Der Ort zählt: Dieselbe Frage bedeutet etwas anderes, aus einer Audit-Konsole gestellt als aus einer Migration.

Das Modell

Die von der Antwort gemeldete Modell-ID.

Die Tokens

Zahlen hinein und Zahlen heraus. Das ist die eine Nutzungszahl, die sich gegen eine Anbieterrechnung abgleichen lässt.

Die Leseschritte

Die beobachtbaren Lesevorgänge, die der Assistent beim Verfassen seiner Antwort gemacht hat, als Bezeichnungen gehalten. Auf diese Weise sieht ein Prüfer, woher eine Zahl kam.

Die Vorschläge

Wie viele Aktionen zur Freigabe vor Ausführung die Antwort der Person vorgelegt hat. Eine Zahl. Ein ungewöhnlicher Tag ist sichtbar, ohne irgendetwas zu öffnen.

Die Leseschritte sind das Feld, das die meisten Logs weglassen, und das Feld, nach dem ein Prüfer zuerst greift. Eine Antwort wird prüfbar, sobald man sehen kann, was sie konsultiert hat. Sonst vergleicht ein Prüfer einen Absatz mit seiner eigenen Erinnerung an die Daten. Genau aus dieser Lage sollte das Log ihn herausholen.

Zwei Arten von Zeilen

Nutzung durch einen Gesprächsassistenten und Nutzung durch eine Funktion in einem Tool sind verschiedene Ereignisse. Sie werden als verschiedene Arten von Zeilen festgehalten.

• Assistentenzeilen werden dort geschrieben, wo ein Prompt und eine Antwort auf dem Server existieren. Sie tragen die vollständigsten Metadaten: Person, Oberfläche, Modell, Tokens, Leseschritte und Vorschlagszahlen.
• Toolzeilen werden von jedem Tool bei der Arbeit ausgegeben. Sie tragen nur Nutzung: welches Tool, welche Person, welches Modell, wie viele Tokens. Die Tools geben keinen Inhalt aus, also hat eine Zeile von vornherein keinen.

Die beiden zusammenzufalten ergäbe eine Tabelle, in der die Hälfte der Spalten dauerhaft leer ist. Eine leere Spalte liest sich als fehlender Wert und nicht als Kategorie, die nie einen hatte. Zwei ehrliche Formen schlagen eine Form mit Löchern.

Inhalte bleiben bei ihrem Autor

Das Stärkste, was ein KI-Log tun kann, ist, alles über einen Aufruf festzuhalten ausser seinem Inhalt. Standardmässig tragen diese Zeilen nur Metadaten. Die Gründe sind Governance-Gründe, keine Speichergründe.

Eine Standardzeile hält fest, wer, wo, welches Modell, wie viele Tokens, was gelesen wurde und wie viele Aktionen vorgeschlagen wurden.

• Ein Administrator, der Transkripte liest, liest die Arbeitsnotizen von Kolleginnen und Kollegen. Das ist eine andere Macht als das Lesen eines Audit-Trails, und es war nie die Macht, um die die Konsole gebeten wurde.
• Ein Transkriptspeicher ist eine zweite Kopie Ihrer Daten, an einem Ort, den Ihre Klassifizierungsarbeit nie bewertet hat. Was auch immer ein Prompt aus einer Datenquelle zitiert hat, lebt jetzt auch in einer Logdatei.
• Aufbewahrung wird zu einer Frage, die Sie bereits beantwortet haben. Nutzungsmetadaten können jahrelang dort liegen, ohne dass jemand Schlaf verliert. Transkripte stellen mit jedem Jahr, das sie aufbewahrt werden, eine schwierigere Frage.

Die vollständige Erfassung bleibt verfügbar, und sie wird bewusst eingeschaltet. Sie ist für eine regulierte Bereitstellung da, deren eigene Richtlinie eine Inhaltsprüfung verlangt und das schriftlich sagt, und sie bleibt die Ausnahme. Ein Team, das sie braucht, weiss, dass es sie braucht, und alle anderen behalten ein Log, das sie ohne zweite Prüfung aufbewahren können.

Was eine Abfrage festhält

Wo der Assistent eine Abfrage ausführt, wird die Abfrage selbst auditiert. Die Anweisung, die er ausgeführt hat, wie lange sie gedauert hat, wie viele Zeilen zurückkamen und ob sie gelungen ist. Die zurückgegebenen Zellen bleiben aus dem Protokoll heraus. Die Zeilenzahl ist die Form, die es zu behalten lohnt, und die Daten sind bereits dort, wo sie hingehören.

Ablehnungen werden mit demselben Gewicht festgehalten wie Erfolge, und dafür lohnt es sich zu argumentieren. Eine Abfrage, die der Wächter abgewiesen hat, ist die informativste Zeile in der Datei. Sie ist die eine Stelle, an der ein Leser die Grenze bei der Arbeit sehen kann. Ein Log, das nur die gelungenen Aufrufe behält, hat seinen eigenen Beleg still gelöscht.

Der Bereich, in dem eine Abfrage lief, wird als Hash festgehalten, nicht als Name. Ein Prüfer kann trotzdem zwei Bereiche auseinanderhalten und Zeilen über eine Sitzung hinweg verfolgen. Das Log selbst wird nicht zu einem Verzeichnis davon, wer Zugang zu was hat.

Kosten, als Schätzung gekennzeichnet

Geldzahlen in einer KI-Konsole werden aus Token-Zahlen und einer in der Software hinterlegten Preistabelle berechnet. Das macht sie nützlich, um eine Verhaltensänderung zu erkennen, und falsch für alles andere.

• Sie sind eine Betreiberschätzung, und die Oberfläche sagt das. Eine als Rechnung präsentierte Zahl wird von der ersten Person, die sie abfotografiert, als Rechnung behandelt.
• Preise bewegen sich. Eine in einem Release ausgelieferte Tabelle spiegelt die Preise des Tages wider, an dem sie geschrieben wurde, und Ihre Anbieterrechnung ist die Autorität.
• Token-Zahlen sind der dauerhafte Teil. Sie lassen sich gegen Ihren Anbieter abgleichen, sie veralten nie, und ein Kostengespräch baut besser auf ihnen auf.

Der Wert der Schätzung ist vergleichend. Die Nutzung einer Person gegen die einer anderen, dieser Monat gegen den letzten, ein Tool gegen den Rest. Diese Lesarten bleiben solide, auch wenn die absolute Zahl von der Preisliste abgedriftet ist.

Begrenzt, und ehrlich, wenn leer

• Es ist begrenzt. Die Datei ist gedeckelt, und die ältesten Zeilen fallen weg, sodass ein Audit-Log nie die Festplatte füllen kann, von der das laufende Produkt abhängt.
• Es ist auf der Festplatte nur für den Eigentümer lesbar, wird Zeile für Zeile angehängt und neueste zuerst zurückgelesen.
• Es bleibt aus dem kritischen Pfad heraus. Ein Fehler beim Schreiben einer Zeile wird geschluckt, nicht geworfen. Eine volle Festplatte lässt jemandes Arbeitssitzung intakt. Die Grenze, die eine schlechte Abfrage stoppt, läuft vor dem Log und bleibt davon unberührt.
• Es ist ehrlich, wenn es leer ist. Bei ruhender Funktion hält der Speicher nichts, und die Konsole sagt das, ohne erfundene Zahl, um die Karte zu füllen.

Der letzte Punkt klingt wie der kleinste, und er entscheidet, ob jemand den anderen drei glaubt. Ein Dashboard, das bereit ist, null zu zeigen, wenn es nichts zu zeigen gibt, ist eines, dem Sie an dem Tag vertrauen können, an dem es etwas zeigt.