Чего ИИ никогда не должен делать с вашим сервером Tableau

Где проходит граница

Под каждой функцией ИИ здесь лежит одно проектное решение, и никакая настройка не может его изменить. Ассистент читает, объясняет и предлагает. Путь записи остаётся у человека. Каждое предложение приходит в виде карточки утверждения перед запуском. Эта карточка ведёт прямо к шлюзу человеческого утверждения, уже встроенному в инструмент, которому принадлежит действие.

Это изоляция возможностей, а не инструкция. Модель, которой велели не писать, всё равно можно уговорить, потому что язык это та поверхность, которая есть у злоумышленника. Модель, построенная без пути записи, держится, как бы ни была сформулирована просьба. Кода для выполнения там никогда не было.

То же правило действует во всех управляемых инструментах. Там, где инструмент действительно пишет, человек уже расписался за это у собственного шлюза этого инструмента. В нескольких из них человек расписывается дважды.

Это ответ на инъекцию промптов

Ассистент, читающий ваш сервер, читает текст, который написали другие люди. Названия рабочих книг. Описания полей. Комментарии внутри пользовательского SQL. Строки журналов. Любое из этого может содержать фразу, написанную для того, чтобы модель ей подчинилась.

Там, где ассистент может действовать, каждая из этих строк становится каналом инструкций. Любой, кто может публиковать на вашем сайте, может её написать. Здесь путь записи принадлежит человеку, поэтому подложенная фраза может лишь вывести на экран вводящий в заблуждение ответ. Читатель видит его и решает, что делать.

Разница в риске огромна: в худшем случае плохая фраза на экране и никогда удалённый источник данных.

Чего вам стоит это правило

Цена реальна, и её стоит произнести вслух. Контроль, описанный только через свои преимущества, читается как лозунг.

• Это медленнее. Каждое действие проходит через человека, включая скучные, которые никто не хочет читать.
• Массовой работе место в другом. Тысяча двести рабочих книг для исправления это задача для детерминированных движков, а не для разговора, и ассистент, которому поручат её перемалывать, вас разочарует.
• Он остаётся буквальным. Инструмент, который угадывал бы, что вы имели в виду, и действовал по догадке, лучше смотрелся бы на демонстрации.

Для продукта управления все три это правильный обмен. Вы отвечаете за собственную среду. Продукт, который действует там по собственной инициативе, оставляет эту ответственность ровно там, где она была, и добавляет участника, которого потом никто не сможет спросить.

Детерминированность по умолчанию

У правила есть более сильная форма: путь по умолчанию работает без модели. Анализ детерминирован, пока кто-то не поставит галочку, и интерфейс говорит об этом своими словами.

Ничего не отмечено: анализ работает на быстром детерминированном движке.

Именно это превращает отчёт в доказательство. Запустите проверку качества снова в следующем квартале, получите тот же ответ, и его можно приложить к решению. Ответ, который меняется вместе с версией модели за ним, нельзя воспроизвести. Это не доказательство.

Сканер Risk идёт дальше, и каждый путь в нём детерминирован. Сканирование, которое решает, открыты ли персональные данные, должно быть повторяемым, а повторяемость это единственный оправданный дизайн. Обнаружение, которое можно воспроизвести, это обнаружение, по которому можно действовать.

Чей ключ, чья учётная запись

Чей ключ

Ваш. Вы предоставляете его на сессию, или администратор закрепляет его за вашим сайтом. Он зашифрован при хранении и никогда не возвращается в браузер.

Какой провайдер

Клиентский слой общается не с одним. Обслужить может любая точка доступа, говорящая на API OpenAI, включая ту, что вы размещаете сами. Базовый URL это параметр, а не константа.

Что записывается

Число вызовов, число токенов, какие модели работали и стоимость, по каждому пользователю, в консоли администратора. Форма работы.

Что остаётся снаружи

Ячейки, возвращённые запросом к данным, не попадают в аудит. Число строк это та форма, которая сохраняется.

Эта последняя строка и есть вопрос к любому продукту с ИИ, который вы рассматриваете. Спросите, что хранит журнал аудита. Если ответ «разговор», у вас теперь есть вторая копия ваших данных. Она лежит в системе, на которую ваша работа по классификации данных никогда не смотрела.

Чтение данных, отдельный вопрос

Ассистент, который только читает, всё же может прочитать больше, чем следует. С этим справляются две границы, и работают они независимо.

• Учётные данные. Каждое чтение выполняется с собственными учётными данными Tableau вошедшего человека, поэтому ассистент видит то, что видит этот человек, и ничего больше.
• Движок. SQL, который пишет модель, выполняется на материализованной локальной копии с отключённым доступом к внешним файлам. Обычное подключение к базе того же типа отдаст локальный системный файл через свой CSV-ридер. Это подключение держит границу.

Поверх обеих границ метрика, названная в вопросе, проверяется по сохранённому контракту до того, как что-либо достигнет хранилища. У одной меры одно определение, какими бы словами ни был задан вопрос.

Что это даёт

1. Ответ, который можно проверить, потому что каждое число в нём пришло из запроса, который можно выполнить снова.
2. Запись того, что было спрошено, включая отклонённые запросы.
3. Радиус поражения, заданный правами одного человека, а не сервисной учётной записи.
4. Способ сказать «да» функции ИИ там, где честным ответом иначе было бы «нет».

Четвёртый пункт и есть тот, благодаря которому проекты утверждают. Большинство команд выбирают не между управляемым ассистентом и неуправляемым. Они выбирают между управляемым ассистентом и ничем, и «ничего» это то, что они выбирали до сих пор.

Три вопроса, которые стоит задать

1. Может ли он писать. Если да, что его останавливает, и это путь в коде или строка в промпте.
2. С чьими учётными данными он читает, и несут ли эти учётные данные больше прав, чем человек, который им пользуется.
3. Что хранит аудит и как долго.

Эти три ответа скажут вам больше, чем любая цифра точности. Более того, кто-то из вашей собственной команды может проверить каждый из них за один день.