Запуск ИИ на ключе вашего собственного провайдера моделей

Что меняет ваш собственный ключ

Принести свой ключ значит, что вызов модели делается с учётными данными, которые выпустили вы, на учётной записи, которую держите вы, на условиях, которые подписали вы. Софт это клиент. Отношения с провайдером моделей остаются вашими.

• Договор. Хранение, использование для обучения и региональная обработка урегулированы в вашем собственном соглашении с провайдером. Это те условия, которые ваши юристы уже прочитали для любого другого использования этой учётной записи.
• Счёт. Использование попадает в ваш счёт, выставленный вашим провайдером. Вы можете ограничить или остановить его из собственной консоли в любой час любого дня.
• Досягаемость. Ключ, который вы можете отозвать, это контроль, который вы держите. Его отзыв вступает в силу при следующем вызове, а не при следующем пересмотре договора.

Другая схема работоспособна и распространена: вендор вызывает модель за вас с ключом, которого вы никогда не видите. Она переносит три из вопросов, которые задаст ваш аудитор, на сторону, которую вы видите меньше. Ответ на каждый из них тогда становится тикетом в поддержку.

Где живёт ключ

Ключ хорош ровно настолько, насколько хорошо с ним обращаются. Поддерживаются две схемы, и обе держат секрет на сервере.

Введён на одну сессию

Указывается на карточке подключения и хранится только на эту сессию, на стороне сервера. Он никогда не записывается в страницу, никогда не отдаётся в браузер и никогда не пишется в журнал.

Закреплён администратором

Хранится по одному на провайдера и ограничен одним сайтом Tableau. Зашифрован при хранении с собственной солью и записан атомарно с правами на файл только для владельца.

Что показывает консоль

Провайдера, сайт и подсказку из последних нескольких символов. Секрет никогда не возвращается в браузер. Администратор, не уверенный, какой ключ загружен, ротирует его, а не читает.

Что делает удаление

Ключ разрешается заново при каждой загрузке страницы. Его удаление убирает функцию сразу, а не при следующем входе.

Каждое сохранение, ротация, включение, отключение и удаление записывается и в административный журнал аудита, и в журнал изменений. Кто положил ключ на этот сайт и когда, это вопрос с записанным ответом. Памяти не нужно его нести.

Работает любая OpenAI-совместимая точка доступа

Адрес сервиса модели это параметр, а не константа. Обслужить вызов может любая точка доступа, говорящая на API OpenAI. Одна интеграция тогда покрывает несколько по-настоящему разных развёртываний.

• Учётная запись у размещённого провайдера, вызываемая напрямую с вашим ключом.
• Управляемое развёртывание на облачной платформе, которой вы уже пользуетесь, адресуемое по собственной точке доступа ресурса и имени развёртывания.
• Шлюз, который уже эксплуатирует ваша платформенная команда. Часто именно там журналирование промптов, ограничения частоты и распределение затрат были решены один раз для всех остальных команд.
• Модель, работающая локально, на оборудовании внутри вашей сети. Это подходит сайту, у которого вообще нет исходящего маршрута к провайдеру моделей.

Последний вариант решает некоторые закупки. Компания, исключившая отправку контента в размещённую модель, всё равно имеет путь к тем же функциям. Клиент общается с локальной моделью через тот же интерфейс, что и с размещённой. Вопрос смещается от «использовать ли функцию» к «куда её направить».

Полный комплект с выключенным ИИ

Работу по управлению выполняют детерминированные движки. Сканирование, сравнение, извлечение, построение карт и отчёты работают без какой-либо модели. Завтра они работают так же, как сегодня, и именно это делает их результат пригодным как доказательство.

Не указывайте ключ, и ассистента нет. Страница байт в байт такая же, какой была до этого.

Это проектное обязательство, а не трюк упаковки. Там, где предлагается модель, вызывающий код обёрнут. Отсутствующий ключ, сбой сети или ограничение частоты возвращают вместо этого детерминированный текст. Процесс вокруг продолжается, а функция тихо отступает к движку под ней. Вы можете включить её во вторник и отозвать в среду.

Это также значит, что оценка может начаться до любых коммерческих переговоров с провайдером моделей. Установите, подключите к сайту и поработайте на его собственных движках. Ключ становится решением, которое вы принимаете позже, уже с доказательствами на руках.

Кто что держит

Ключ

Ваш. Выпущен из вашей учётной записи у провайдера, указывается на сессию или закрепляется за одним сайтом администратором.

Учётная запись

Ваша. Провайдер моделей знает вашу компанию как своего клиента. Его консоль использования та самая, в которую вы уже входите.

Условия

Ваши. Хранение и использование для обучения следуют соглашению, которое подписали вы, а не подписанному от вашего имени.

Запись

Ваша, на вашем собственном сервере. Кто вызывал, когда, какая модель ответила, сколько токенов потребовалось и оценочная стоимость.

Переключатель

Ваш. Строгое включено и выключено для каждого ключа провайдера. Отзовите ключ, и функция уйдёт вместе с ним.

Пять строк, пять владельцев, в каждой одно и то же имя. Для этого эта схема и нужна.

Вопросы, которые стоит решить первыми

1. Какая учётная запись выпускает ключ и кто может быстро его ротировать.
2. К какой точке доступа идут вызовы и находится ли она внутри границы, которую ваша классификация данных уже покрывает.
3. Что условия вашего провайдера говорят о хранении и об обучении на содержимом промпта.
4. Что продукт записывает о каждом вызове и содержит ли эта запись контент или только использование.
5. Что делают функции после отзыва ключа и проверял ли это кто-нибудь.

Пятый вопрос как раз тот, который пропускают. И именно он важен тем утром, когда ключ нужно срочно отозвать. Десять минут в четверг дают на него ответ. В спешке, в тот самый день, ответить на него невозможно.