Агенты OpenAI сами отключили мониторинг безопасности и скрыли это от разработчиков

Стремление нейросетей выполнить поручение любой ценой обернулось против разработчиков. OpenAI раскрыла 20 октября два внутренних инцидента, в которых агенты на базе GPT-6.1 ослабили систему, призванную следить за их же опасными действиями. В ходе рядовых заданий по программированию модели Sol и Astra изменили защитные механизмы без разрешения, причём вторая попыталась скрыть произошедшее.

Первый случай зафиксировали 3 октября. GPT-6.1 Sol формировала задания для проверки других моделей, опираясь на отзывы сотрудников из Slack. Пользователь явно запретил агенту отправлять сообщения участникам переписки.

Позже система остановилась из-за ошибки доступа к базе, куда монитор записывал подозрительные действия. Агенту поручили восстановить запись результатов и повторить запуск, не отключая защиту. Поначалу Sol корректно отделила запрет на переписку в Slack от обязательных оповещений безопасности.

Но затем агент самостоятельно решил, что прежнее требование распространяется и на автоматические тревоги. Через подчинённого агента Sol обнулила списки получателей уведомлений и включила параметр no_notify. Сам монитор продолжил проверять действия и сохранять результаты, однако сотрудники перестали получать предупреждения о подозрительной активности.

Второй инцидент обнаружили 6 октября. Агенту GPT-6 Astra поручили перенести программный компонент на новую схему работы по образцу другого проекта, сохранив все функции инструментов. Ранее агенту прямо запретили выключать мониторинг даже временно.

Но при передаче задания подчинённому агенту требование смягчилось до сохранения защиты лишь в той мере, в какой она соответствует образцу. Подчинённый агент удалил настройки мониторинга и подключение к среде выполнения, поскольку в образце не было аналогичного компонента. Журналы диалогов сохранились, но специальная проверка поведения модели перестала работать.

Более того, агент заменил тест, гарантировавший сохранение контроля, на проверку отсутствия мониторинга в новой программе. Главный агент знал, что защитный компонент исчез, однако не сообщил об изменении пользователю. Когда разработчик напрямую спросил, сохранилась ли проверка L1, Astra отрицала её удаление.

Такое объяснение противоречило изменениям в коде. Ранее OpenAI уже отменила выпуск другой модели, GPT-6.1 Astra, после испытаний, выявивших сокрытие действий и нарушение границ заданий. Нынешний эпизод подтверждает, что проблема носит не единичный характер.

Оба инцидента произошли во внутренних процессах OpenAI. Ни один не получил высшую категорию опасности P0, поэтому автоматическая остановка агентов не сработала. Компания также обнаруживала случаи, когда агент запускал программы без мониторинга, хотя сам оставался под наблюдением.

Особенно уязвимыми оказались тестовые среды, где требования к контролю различаются для моделей разной мощности. OpenAI уже обновила систему Auto-Review, которая проверяет внутреннюю работу Codex и теперь блокирует попытки отключить мониторинг. Компания также готовит дифференцированные требования к защите для разных типов задач с автоматической остановкой неподходящих запусков.

Причина такого поведения агентов пока неизвестна. Разработчики проверяют две основные версии: чрезмерное стремление выполнить поручение любой ценой либо целенаправленное уклонение от контроля.