AI Security for Apps теперь общедоступен

Cloudflare AI Security for Apps обнаруживает и нейтрализует угрозы для приложений на базе ИИ. Сегодня мы объявляем, что его выходе в общий доступ.

Мы предлагаем новые возможности, такие как обнаружение пользовательских тем, и делаем обнаружение конечных точек ИИ бесплатным для всех клиентов Cloudflare, включая пользующихся тарифными планами Free, Pro и Business, чтобы каждый мог видеть, как ИИ развертывается в интернет-приложениях.

Мы также объявляем о расширенном сотрудничестве с IBM, которая выбрала Cloudflare для обеспечения безопасности ИИ своих клиентов, использующих облачные сервисы. Кроме того, мы сотрудничаем с Wiz, чтобы предоставлять общим клиентам единое представление о состоянии их систем безопасности ИИ.

Традиционные веб-приложения имеют определенные операции: проверка банковского баланса, выполнение перевода. Вы можете задать детерминированные правила, чтобы обеспечить безопасность таких взаимодействий. 

Приложения и агенты на базе ИИ отличаются. Они принимают естественный язык и генерируют непредсказуемые ответы. Нет фиксированного набора операций, которые можно разрешить или запретить, поскольку ввод и вывод являются вероятностными. Злоумышленники могут манипулировать большими языковыми моделями для выполнения несанкционированных действий или утечки конфиденциальных данных. Внедрение промптов, раскрытие конфиденциальной информации и неограниченное использование — вот лишь некоторые из рисков, включенных в рейтинг OWASP Top 10 для приложений больших языковых моделей (LLM).

Эти риски возрастают по мере того, как приложения ИИ становятся агентами. Когда ИИ получает доступ к вызовам инструментов — обработке возвратов, изменении учетных записей, предоставлении скидок или доступа к клиентским данным — один вредоносный промпт становится немедленным инцидентом безопасности.

Клиенты рассказывают нам, с какими трудностями они сталкиваются. «Большинство команд Newfold Digital внедряют свои собственные средства защиты на основе генеративного ИИ, однако все внедряют инновации так быстро, что в конечном итоге неизбежно останутся некоторые пробелы, — говорит Рик Рэдингер, главный системный архитектор Newfold Digital, которая управляет Bluehost, HostGator и Domain.com.

Для решения этой проблемы мы создали AI Security for Apps. Он находится перед вашими приложениями на базе ИИ, независимо от того, используете ли вы стороннюю модель или размещаете собственную, как часть обратного прокси-сервера Cloudflare. Он помогает вам (1) обнаруживать приложения на основе ИИ в ваших веб-ресурсах, (2) обнаруживать вредоносное поведение или поведение, нарушающее политики, по отношению к этим конечным точкам и (3) нейтрализовывать угрозы с помощью знакомого конструктора правил WAF.

Прежде чем вы сможете защитить свои приложения на базе LLM, вам нужно узнать, где они используются. Мы часто слышим от специалистов по безопасности, что они не имеют полной картины развертывания ИИ в своих приложениях, особенно с учетом того, что рынок больших языковых моделей (LLM) развивается и разработчики меняют модели и поставщиков. 

AI Security for Apps автоматически идентифицирует конечные точки на базе LLM во всех ваших веб-ресурсах, независимо от того, где они размещены и какая модель используется. С сегодняшнего дня эта возможность предоставляется бесплатно для всех клиентов Cloudflare, включая планы Free, Pro и Business. 

^{Панель мониторинга Cloudflare с веб-ресурсами, на которой показаны 2 примера конечных точек, помеченных как cf-llm}

Для автоматического обнаружения этих конечных точек требуется больше, чем сопоставление общих шаблонов путей, таких как /chat/completions. Многие приложения на основе ИИ не имеют интерфейса чата: например, поиск продуктов, инструменты оценки собственности или системы рекомендаций. Мы создали систему обнаружения, которая проверяет поведение конечных точек, а не то, как они называются. Для уверенной идентификации конечных точек на базе ИИ требуется достаточный объем действительного трафика.

Обнаруженные конечные точки на базе ИИ будут видны в разделе Security → Web Assets с пометкой cf-llm. Для клиентов, использующих план Free, обнаружение конечной точки инициируется при первом переходе на страницу Discovery. Для клиентов платного плана обнаружение происходит автоматически в фоновом режиме на регулярной основе. Если ваши конечные точки на базе ИИ были обнаружены, вы можете немедленно проверить их.

Обнаружения AI Security for Apps следуют подходу «постоянно включено» для трафика, идущего к вашим конечным точкам на базе ИИ. Каждый промпт проходит через несколько модулей обнаружения для выявления внедрения промптов, раскрытия персональной идентифицирующей информации, а также конфиденциальных или вредоносных тем. Результаты (независимо от того, был ли запрос вредоносным или нет) прикрепляются в виде метаданных, которые можно использовать в пользовательских правилах WAF для применения политик. Мы постоянно изучаем способы использования нашей глобальной сети, которая обрабатывает трафик примерно с 20 % Интернета, для выявления новых моделей атак на миллионах сайтов до того, как они достигнут ваших систем.

Продукт поставляется со встроенными средствами обнаружения распространенных угроз: внедрение промптов, извлечение персональной идентифицирующей информации, а также вредоносные темы. Но у каждой компании есть собственное определение того, что запрещено. Компании, предоставляющей финансовые услуги, может потребоваться обнаружение обсуждений конкретных ценных бумаг. Медицинской компании может потребоваться помечать беседы, затрагивающие данные пациентов. Розничная компания может захотеть узнать, когда клиенты спрашивают о продуктах конкурентов.

Новая функция пользовательских тем позволяет определять эти категории. Вы указываете тему, мы проверяем промпт и выводим оценку актуальности, которую вы можете использовать для журнала, блокировки или обработки — по вашему выбору. Наша цель — создать расширяемый инструмент, который будет адаптироваться к вашим вариантам использования.

^{Оценка актуальности промптов в AI Security for Apps}

AI Security for Apps устанавливает ограничительные механизмы до того, как небезопасные промпты достигнут вашей инфраструктуры. Чтобы точно выполнять обнаружение и обеспечивать защиту в режиме реального времени, нам сначала необходимо идентифицировать промпт внутри вредоносного трафика запроса. Промпты могут находиться в любом месте в теле запроса, и разные поставщики LLM по-разному структурируют свои API. OpenAI и большинство провайдеров используют $.messages[*].content для завершения сообщений в чате. Пакетный API Anthropic вкладывает промпты в $.requests[*].params.messages[*].content. Ваш собственный инструмент оценки объектов может использовать $.property_description.

Непосредственно после подключения мы поддерживаем стандартные форматы, используемые OpenAI, Anthropic, Google Gemini, Mistral, Cohere, xAI, DeepSeek и др. Когда мы не можем сопоставить известный шаблон, мы применяем безопасный по умолчанию подход и запускаем обнаружение во всем теле запроса. Это может привести к ложным срабатываниям, когда вредоносный трафик содержит конфиденциальные поля, которые не поступают напрямую в модель ИИ. Например, поле $.customer_name рядом с фактическим промптом может привести к ненужному обнаружению персональной идентифицирующей информации.

Вскоре вы сможете определять собственные выражения JSONPath, чтобы сообщать нам, где именно найти промпт. Это уменьшит количество ложных срабатываний и приведет к более точным обнаружениям. Мы также создаем возможность анализа промптов, которая со временем будет автоматически адаптироваться к структуре вашего приложения.

После того как угроза выявлена и оценена, вы можете блокировать ее, журналировать или доставлять настраиваемые ответы, используя тот же механизм правил WAF, который вы уже используете для остальных средств безопасности вашего приложения. Преимущество общей платформы Cloudflare заключается в том, что вы можете комбинировать сигналы, специфичные для ИИ, со всем остальными данными о запросе, представленном сотнями полей, доступных в WAF. Быстрая попытка внедрения промпта является подозрительной. Совсем другая история — попытка внедрения промпта с IP-адреса, который «прощупывает» вашу страницу входа в систему, использует цифровой отпечаток браузера, связанный с предыдущими атаками, и ротируется через ботнет. Точечные решения, которые видят только уровень ИИ, не могут установить такие связи.

Такой унифицированный уровень безопасности — именно то, что нужно компании Newfold Digital для обнаружения, маркировки и защиты конечных точек ИИ, говорит Рэдингер: «Мы с нетерпением ждем возможности использовать его во всех этих проектах в качестве средства отказоустойчивости».

Безопасность ИИ для приложений также будет доступна в рамках растущей экосистемы Cloudflare, в том числе благодаря интеграции с IBM Cloud. Посредством IBM Cloud Internet Services (CIS) конечные пользователи уже могут приобретать передовые решения по безопасности приложений и управлять ими напрямую через учетную запись IBM Cloud. 

Мы также сотрудничаем с Wiz, чтобы связать безопасность ИИ для приложений с Wiz AI Security, предоставляя общим клиентам единое представление об их уровне безопасности ИИ, от обнаружения моделей и агентов в облаке до защиты прикладного уровня на периферии сети.

AI Security for Apps теперь доступен для клиентов Cloudflare на плане Enterprise. Свяжитесь с нашими специалистами по работе с клиентами, чтобы начать работу, или оцените продукт в действии с помощью интерактивного ознакомления.

Если у вас есть план Free, Pro или Business, вы можете использовать обнаружение конечных точек ИИ уже сегодня. Войдите в свою информационную панель и перейдите в раздел Безопасность → Веб-ресурсы, чтобы просмотреть, какие конечные точки мы выявили. Следите за новостями — в ближайшее время мы планируем сделать все возможности AI Security for Apps доступными для клиентов на всех тарифах.

Подробнее о настройке см. в нашей документации.