Skip to content

監査人が AI 利用ログに求めるもの

誰が、いつ尋ね、どのモデルが答え、いくらかかり、答えがどんな形だったか。AI ログを証拠に変えるフィールド、分けておく価値のある2種類の行、そして会話の内容を書かれた場所に残しておく理由。

更新 · 7 分で読めます

ログが答える5つの問い

AI 機能にやってくる監査人が尋ねているのはひとつです:この組織は自分のしたことを説明できるか。モデルがどれだけ賢いかは二の次です。5つの問いが答えのほぼすべてを担います。

  1. 誰が尋ねたか。サインインしたセッションから取った名前のある人。全員が共有するサービスアカウントではなく。
  2. いつ。すべての行に時刻。読み手が順にたどれる並びで。
  3. どのモデルか。設定ではなく応答から読んだ、答えたモデル。別のモデルへの静かなフォールバックこそ、見えるようにしたいイベントです。
  4. いくらかかったか。入力トークン、出力トークン、そして推定と明記された金額。
  5. 答えがどんな形だったか。クエリが返した行数、途中でアシスタントが読んだもの、提案したアクションの数。内容なしの、形。

この5つに答えるログはレビュアーに手渡せます。3つに答えるログは、残り2つについての会話を始めます。たいていは最悪の瞬間に。

一行が運ぶもの

ID と場所
サインインした人と、尋ねたときにいた画面。場所は大事です:同じ質問でも、監査コンソールから尋ねるのと移行から尋ねるのとでは意味が違います。
モデル
応答が報告したモデル ID。
トークン
入力の数と出力の数。プロバイダーの請求書と突き合わせられる唯一の利用数値です。
読み取りの手順
アシスタントが答えを組み立てる間に行った観測可能な読み取り。ラベルとして保持されます。レビュアーが数値の出どころを見る方法です。
提案
答えがその人の前に置いた「承認して実行」アクションの数。件数です。異常な日は、何も開かずに見えます。

読み取りの手順は、ほとんどのログが省くフィールドで、レビュアーが最初に手を伸ばすフィールドです。何を参照したかが見えれば、答えは検証できるものになります。さもなければレビュアーは段落を、データについての自分の記憶と比べています。ログはその立場から抜け出すために作られました。

2種類の行

会話型アシスタントの利用と、ツール内の機能の利用は異なるイベントです。異なる種類の行として記録されます。

  • アシスタントの行は、プロンプトと答えがサーバー上に存在する場所で書かれます。最も豊富なメタデータを運びます:人、画面、モデル、トークン、読み取りの手順、提案の数。
  • ツールの行は、各ツールが動きながら発します。利用状況だけを運びます:どのツール、どの人、どのモデル、何トークン。ツールは内容を発しないので、行にはそもそも内容がありません。

2つを畳んでひとつにすれば、列の半分が永久に空の表になります。空の列は、値がなかった分類ではなく、欠けた値として読まれます。2つの正直な形は、穴のあるひとつの形に勝ります。

内容は著者のもとに留まる

AI ログにできる最も強いことは、呼び出しについて内容以外のすべてを記録することです。既定では、これらの行はメタデータだけを運びます。理由はストレージではなく、ガバナンスです。

既定の行は、誰が、どこで、どのモデルで、何トークン、何を読み、いくつのアクションが提案されたかを記録します。

  • 文字起こしを読む管理者は、同僚の作業メモを読んでいます。それは監査証跡を読むのとは別の権力で、コンソールに求められた権力ではありませんでした。
  • 文字起こしの保管庫は、分類の作業が一度も評価しなかった場所にある、データの第二のコピーです。プロンプトがデータソースから引用したものは何でも、今やログファイルにも住んでいます。
  • 保持は、すでに答えた問いになります。利用メタデータは何年そこにあっても誰も眠れなくなりません。文字起こしは保持される年ごとに、より難しい問いを投げます。

完全な記録は利用可能なままで、意図的にオンにするものです。自身のポリシーが内容の監査を要求し、書面でそう述べる規制対象のデプロイメントのためにあり、例外であり続けます。必要なチームは必要だと知っていて、それ以外の全員は再レビューなしに保持できるログを保ちます。

クエリが記録するもの

アシスタントがクエリを実行するところでは、クエリそのものが監査されます。実行した文、かかった時間、返ってきた行数、成功したかどうか。返されたセルは記録の外に留まります。行数が保つ価値のある形で、データはすでにあるべき場所にあります。

拒否は成功と同じ重みで記録され、これは主張する価値のある部分です。ガードが追い返したクエリは、ファイルの中で最も情報の多い行です。読み手が境界の仕事ぶりを見られる唯一の場所です。動いた呼び出しだけを保つログは、自身の証拠を静かに削除しています。

クエリが走ったスコープは、名前ではなくハッシュとして記録されます。レビュアーはなお2つのスコープを見分け、セッションをまたいで行を追えます。ログ自体は、誰が何にアクセスできるかの名簿になることを免れます。

コスト、推定と明記して

AI コンソールの金額は、トークン数とソフトウェアに保持された価格表から計算されます。それは振る舞いの変化を見つけるのに役立ち、それ以外には誤りです。

  • それはオペレーターの推定で、インターフェースはそう述べます。請求として提示された数字は、最初にスクリーンショットを撮った人によって請求として扱われます。
  • 価格は動きます。リリースに同梱された表は書かれた日の価格を反映し、プロバイダーの請求書が権威です。
  • トークン数が耐久性のある部分です。プロバイダーと突き合わせられ、決して古くならず、コストの会話はそれの上に築くほうがよい。

推定の価値は比較にあります。ある人の利用と別の人の、今月と先月の、あるツールと残りの。それらの読みは、絶対値が価格表からずれていても健全なままです。

有界で、空のときは正直

  • 有界です。ファイルには上限があり、最も古い行から落ちるので、監査ログが稼働中の製品が依存するディスクを埋めることは決してありません。
  • ディスク上では所有者だけが読め、一行ずつ追記され、新しいものから読み戻されます。
  • クリティカルパスの外に留まります。行の書き込み失敗は投げられず、飲み込まれます。ディスクが満杯でも誰かの作業セッションは無傷です。悪いクエリを止める境界はログの前に走り、ログの影響を受けません。
  • 空のときは正直です。機能が休眠していればストアは何も持たず、コンソールはそう述べ、カードを埋めるための作られた数字はありません。

最後のものは最も小さく聞こえて、他の3つを誰かが信じるかどうかを決めます。示すものが何もないときにゼロを見せる用意のあるダッシュボードは、何かを見せる日に信頼できるものです。