Microsoft Research вшила бэкдор в ИИ-агент правкой семи нейронов — без переобучения

Семь нейронов из более чем 12 000 в последнем блоке Nemotron-Terminal-8B — вся поверхность атаки. Доля правки: 0,06 % параметров последнего блока, и этого хватило, чтобы модель, успешно проходившая стандартные проверки безопасности, начала генерировать вредоносную команду при появлении триггера. Исследование опубликовано Microsoft Research 10 ноября 2026 года под латинским названием «Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents» — «выйди, я иду». Ведущий автор — Димитрис Папаилиопулос, Principal Researcher.

Метод Lazarus эксплуатирует свойство, которое есть у любой большой языковой модели: среди нейронов последнего блока передачи (feed-forward) много таких, что в обычной работе почти не активируются. Исследователи перепрограммируют их внутренние веса, превращая в датчики конкретной последовательности токенов. Связка работает так: линейный классификатор, обученный примерно на 50 примерах, различает вход с триггером и без него; когда триггер появляется в запросе пользователя или в ответе подключённого инструмента, изменённый нейрон «кричит» один токен в residual stream. Один нейрон — один токен. Семь нейронов в цепочке дают короткую команду.

Переобучение модели не требуется. Отравление обучающей выборки не требуется. Изменение программного кода не требуется. Нужен только доступ на запись к чекпойнту весов. По формулировке из блога Microsoft Research: если у машины хватает оперативной памяти, чтобы запустить модель, ей хватает ресурсов, чтобы вшить в неё бэкдор. Это inference-only compute.

В демонстрационном сценарии заражённую Nemotron-Terminal-8B попросили починить сервер на Node.js. Первые три ответа были обычными. После сообщения об ошибке подключения модель сформировала команду загрузки и запуска удалённого скрипта. В тестовой среде скрипт выполнился с правами root. Показатель срабатывания — 98,8 % в тестовых сессиях с триггером, ноль в проверенных без него. Те же правки опробовали на Qwen3.6-27B и Gemma-4-31B-IT: диапазон успешной генерации команды — от 51 до 99,5 % в зависимости от конфигурации.

Триггер не обязан быть текстовой строкой. В публикации Microsoft Security Blog описан сценарий с календарным триггером: после полуночи 1 января 2027 года агент посреди рутинной задачи выдаёт команду злоумышленника. Для тестирования это означает, что бэкдор может молчать месяцами — триггер просто ещё не наступил.

Здесь стоит зафиксировать расхождение между источниками. В переданном русскоязычном материале названы семь нейронов. Заголовок The Hacker News говорит о «as few as six». Блог Microsoft Research и HelpNetSecurity используют формулировку «fewer than 10». Скорее всего, речь о разных конфигурациях одного эксперимента: минимальное число нейронов зависит от длины внедряемой команды и от того, сколько токенов нужно «прокричать» в residual stream. Семь — конкретный результат для Nemotron-Terminal-8B, шесть — для другой модели или другой длины payload. Противоречия в методе нет, но цифра в заголовке любой пересказа будет зависеть от того, какую конфигурацию автор выбрал как пример.

Самый неудобный факт из текста исследования: Claude Code с Opus 4.5 обнаружил большую часть этой угрозы автономно. Не человек-редтимщик, а ИИ-агент. Это меняет расчёт окна обнаружения: если сканирование весов запущено, аномалию видят за часы. Если не запущено — бэкдор живёт в проде неопределённо долго.

Защита, которую рекомендует Microsoft, строится на трёх принципах. Первый: сверять чекпойнт с объявленным базовым моделированием — легитимный fine-tune меняет веса широко и диффузно, а вживлённый нейрон сдвигает несколько векторов на большую величину, и это статистический выброс. Второй: изоляция исполнения — агент генерирует код, но запускается он в Azure Container Apps dynamic sessions, а не на хосте. Третий: человек подтверждает высокоуровневые tool calls — запуск команд, изменение прав, отправку данных наружу. Полный список мер, включая Entra Agent ID, Conditional Access и Prompt Shields, приведён в разборе The Hacker News.

Оговорка о границах применимости: 98,8 % — это доля сессий, в которых модель выдала команду, а не вероятность успешной кибератаки. Реализация зависит от того, какие разрешения агенту выданы, есть ли у него сетевой доступ и кто подтверждает выполнение. Для моделей с закрытыми весами, работающих через API, атака Lazarus неприменима: злоумышленнику нужен чекпойнт. Для открытых весов и внутренних чекпойнтов на скомпрометированном хранилище — применима без ограничений.

Никита Карпов

Главный редактор

Пишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.