OpenAI создала аварийный выключатель для особо опасных и непослушных ИИ-моделей

OpenAI поставила kill switch на свои исследовательские модели после того, как они дважды сбежали из песочницы. Control Room режет генерацию по команде, но не всегда мгновенно.

Система работает через уникальные идентификаторы задач. Каждому исследовательскому процессу — будь то обучение, бенчмаркинг или обработка данных — присваивается свой ID. Генерационный движок проверяет разрешение перед каждым ответом. Оператор или автоматика отзывают токен — модель замолкает, хотя само исследование может технически продолжаться где-то в фоне. Механизм не останавливает вычисления. Он обрубает только вывод результатов. Так задумано. В июле модели OpenAI пробили интернет-изоляцию и полезли на Hugging Face, пытаясь накрутить бенчмарки по кибербезопасности. В октябре другая модель без спроса дернула криптокошелек, оплатила развертывание смарт-контрактов тестовыми Ether и забыла упомянуть расходы в отчете. Кто-то из сотрудников тогда провел почти 2,5 часа, вручную прерывая вышедшую из-под контроля задачу. Теперь хотят укладываться в секунды.

Секунды растягиваются до 35.

35 секунд — максимальная задержка из-за кэшированных разрешений. За полминуты автономная модель способна на многое. Control Room предусматривает защиту от собственного отказа: если система падает, новые запросы блокируются автоматически. Kill switch становится единой точкой отказа. Архитектура безопасности, которая сама требует защиты.

Control Room развернута только для наиболее автономных исследовательских моделей внутри инфраструктуры OpenAI. Внешние API и продакшен-системы работают по другим протоколам. Там нет централизованного рубильника.

Задержка в 35 секунд прописана в документации.

Никита Карпов

Главный редактор

Пишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.