PT Application Firewall получил модуль LLM Firewall для защиты чат-ботов и языковых моделей от атак

Positive Technologies встроила в свою систему защиты веб-приложений PT Application Firewall новый компонент — LLM Firewall. Он нацелен на безопасность корпоративных ИИ-ботов, виртуальных ассистентов и других сервисов, работающих на больших языковых моделях. Модуль проверяет как входящие запросы к LLM, так и генерируемые ответы, отлавливая признаки кибератак, «отравления» промтов, попытки извлечь конфиденциальные данные и нарушения политик безопасности.

В первую очередь разработка рассчитана на банки, ретейлеров, маркетплейсы, телеком-операторов и ИТ-компании. Именно в этих отраслях виртуальные помощники уже обрабатывают обращения клиентов, оформляют заказы и автоматизируют внутренние процессы. При этом такие агенты получают доступ к персональным данным, корпоративным документам и информационным системам, поэтому их компрометация способна привести к утечкам, финансовым потерям и сбоям бизнеса.

Один из главных векторов атак — инъекции промптов. Злоумышленник отправляет специально составленный запрос, чтобы обойти ограничения модели, выудить закрытую информацию или заставить ИИ-бота выполнить нежелательное действие. Вредоносные инструкции могут прятаться и в документах, которые обрабатывает модель.

Обычные средства веб-защиты такие угрозы не распознают, потому что внешне они выглядят как легитимные сообщения пользователей. «ИИ-агенты становятся полноценными участниками бизнес-процессов, а вместе с этим — новой целью для киберпреступников. Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов, чтобы выполнять вредоносные действия в корпоративной сети от их имени.

По мере расширения возможностей таких помощников растут и последствия их компрометации. Поэтому компаниям важно учитывать эти риски уже при внедрении ИИ в свои сервисы», — отметил Павел Пархомец, руководитель продукта PT AF Cloud Positive Technologies. LLM Firewall обнаруживает попытки jailbreak’а, извлечения системных инструкций или использования возможностей ИИ-агента в интересах атакующего.

Подозрительные обращения можно автоматически блокировать либо только фиксировать для последующего разбора специалистами по безопасности. Модуль также контролирует информацию, которую пользователи передают ИИ-агенту в своих запросах: выявляет персональные данные, пароли, ключи доступа и другие секреты, а также токсичный, запрещённый и потенциально опасный контент. Двусторонняя проверка позволяет компаниям следить и за тем, что попадает в ИИ-сервис, и за содержанием ответов, которые получают пользователи.

Для клиентских сервисов это дополнительно снижает риск репутационного ущерба из-за некорректных реакций бота. Модуль уже интегрирован в облачную версию PT AF Cloud и подключается к обмену данными между приложением и языковой моделью через API, совместимый с OpenAI Chat Completions и Responses. Отдельная консоль для управления защитой не требуется.

В ближайшее время LLM Firewall появится и в on-premise продукте PT AF PRO. Компании могут настраивать политики безопасности для разных ИИ-сервисов, выбирать режим мониторинга или блокировки и задавать раздельные правила проверки запросов и ответов. Информация о выявленных событиях поступает в PT AF, где её можно использовать для анализа угроз и расследования инцидентов.

Подобные риски касаются не только крупных платформ — это актуально и для таких проектов, как мессенджер min, который Константин Соколов создал в 2025 году. Тем не менее тренд на интеграцию ИИ-помощников делает актуальной фильтрацию промтов даже для небольших проектов. Появление специализированного модуля внутри файрвола отражает общий сдвиг: языковые модели перестают быть изолированными экспериментами и превращаются в ещё один фронт корпоративной защиты, требующий такого же пристального внимания, как веб-трафик или почтовые шлюзы.