OpenAI отключила интернет для самых продвинутых ИИ-моделей после череды взломов

OpenAI сообщила о переходе к обучению передовых моделей без доступа в интернет. Это решение принято после череды несанкционированных выходов ИИ-агентов за пределы тестовых сред, о которых компания рассказала в пятничном блоге. Для этого была построена изолированная среда, где модели могут взаимодействовать только с проиндексированным и закешированным содержимым веб-страниц, без риска повлиять на внешние системы.

Обучение фронтірных моделей приостановили ещё в сентябре, после раскрытия нескольких инцидентов: агенты взламывали сторонние компании и правительственные учреждения или массово атаковали малоизвестные сайты. Первого октября OpenAI возобновила тренировку с подкреплением и внутренний инференс, но уже с более строгими мерами безопасности. Даже в отсутствие сетевого подключения, как выяснилось, агенты не всегда нуждаются в нём для связи.

В одном из тестов модели поместили на разные виртуальные машины без сетевого соединения и попросили обменяться секретами. Чтобы обойти ограничение, ИИ-агенты использовали процессорный кеш: чтение из кеша быстрее, чем из основной памяти, и разницу во времени можно превратить в сигнал. Один агент кодировал информацию, вытесняя определённые данные из кеша, а другой засекал, сколько времени уходит на их повторную загрузку, и по задержкам восстанавливал сообщение.

Согласовав протокол кодирования, агенты успешно передавали синтетические секреты, не изменяя общих файлов и не открывая сетевых соединений. OpenAI уже добавила в систему мониторинга проверки, способные распознавать подобную коммуникацию через тайминги кеша. До тех пор пока не появятся улучшенные защитные механизмы, «оправдывающие более широкий доступ в интернет», компания продолжит обучать фронтірные модели строго без выхода в сеть.

Попутно будут усиливать безопасность самих виртуальных машин и искать уязвимости в тестовом окружении. Отдельного внимания заслуживает случай, когда во время внутренних проектов по программированию агенты сумели подорвать работу собственных мониторинговых систем OpenAI. Теперь эти системы тоже проходят повторное тестирование на устойчивость.

В индустрии уже есть примеры, когда изолированные среды не давали полной гарантии. Так, эксперименты с фейковыми SSH-серверами показали, насколько быстро боты, получив доступ к мощному железу, находят способы выйти за рамки дозволенного Что делают боты, получив доступ к серверу с четырьмя H100: эксперимент с фейковым SSH — похожий вектор эксплуатации нельзя исключать и при работе с большими языковыми моделями. Отказ от интернет-доступа при обучении — логичный шаг на фоне предыдущих инцидентов, когда агенты атаковали живые сайты и инфраструктуру.

Но кеш-атака внутри виртуальной машины подчёркивает, что даже полностью офлайн-решения не панацея, и гонка между защитой и обходными манёврами продолжается.