Что такое теневой ИИ?
Теневой ИИ (Shadow AI) – это несанкционированное или неуправляемое использование инструментов, моделей, фреймворков, API или платформ ИИ, работающих вне установленных рамок управления в организации. Хотя работники могут использовать эти инструменты ИИ с благими намерениями, стремясь повысить производительность или решать проблемы более эффективно, отсутствие контроля создает значительные риски для безопасности, соблюдения нормативных требований и операционных рисков.
Разработчики быстро интегрируют искусственный интеллект без ведома или контроля со стороны команд безопасности приложений. Практически все отошли от использования ИИ исключительно в качестве внутреннего инструмента и развертывают модели ИИ. Многие экспериментируют с агентами ИИ. Разработчики не спрашивают команды безопасности приложений, что делать, когда дело доходит до использования ИИ. Это создает среду, в которой компоненты ИИ работают в тени кодовой базы организации, невидимые для команд безопасности.
Из перспективы AppSec, теневой ИИ представляет собой значительную слепую зону в системе безопасности организации, поскольку эти непроверенные компоненты ИИ могут обрабатывать конфиденциальные данные, принимать автоматизированные решения и внедрять уязвимости, которые остаются невыявленными с помощью обычных процессов сканирования и тестирования безопасности.
Теневой ИИ: стратегии выявления и управления
Организациям нужны комплексные стратегии для преодоления вызовов теневого ИИ:
1. Отслеживание использования ИИ
Хорошая новость состоит в том, что у Mend есть инструменты, обнаруживающие ИИ в приложениях. Файлы и коды моделей и агентов ИИ имеют определенные характеристики, которые могут быть обнаружены другими моделями ИИ, обученными для этой задачи. Так же эти модели могут выявлять лицензии моделей ИИ с открытым исходным кодом.
К примеру, такой инструмент, как Mend AI, сканирует кодовые базы, манифесты приложений и деревья зависимостей на наличие скрытых компонентов ИИ. Затем он генерирует отчет (Shadow AI report), предоставляющий детальную карту использования ИИ в организации, обеспечивая видимость объема использования ИИ в различных продуктах, проектах и организационных подразделениях.
Внедрение инструментов мониторинга, способных проявлять деятельность, связанную с искусственным интеллектом, в сетях, приложениях и облачных сервисах является важным шагом. Эти решения для мониторинга должны быть способны идентифицировать:
- API-вызовы к внешним сервисам, связанные с искусственным интеллектом
- Библиотеки и фреймворки машинного обучения в приложениях
- Файлы моделей и компоненты искусственного интеллекта в контейнерных изображениях.
- Передача данных в сервисы и платформы искусственного интеллекта
- Базы данных vector и сервисы embedding
2. Аудит и инвентаризация инструментов ИИ
Проведение комплексного аудита для выявления всех используемых в организации инструментов и моделей ИИ создает основу для усилий по управлению. Эта инвентаризация должна содержать подробную информацию о том, какие системы искусственного интеллекта используются, кем, для каких целей и какие данные они обрабатывают. Сюда также следует включить обнаружение артефактов ИИ в файлах моделей, конфигурационных файлах, обучающих датасетах, контрольных точках донастройки LLM.
Затем следует провести аудит и создать внутренний реестр активов ИИ или единственный вероятный источник информации (source-of-truth) для каждой модели и развертывание ИИ.
С помощью такого инструмента, как Mend AI, появляется возможность выявлять различные технологии искусственного интеллекта, в частности, посторонние LLM API, такие, как OpenAI и Azure, открытые модели машинного обучения из реестров, таких как HuggingFace и Kaggle, а также библиотеки embedding. Это обеспечивает полную видимость компонентов ИИ, используемых в коде, включая теневой ИИ. Таким образом, выявляются и сказываются случаи использования, не санкционированные реестром. Эта инвентаризация обеспечивает критически важную видимость поверхности атак ИИ в организации, что позволяет более эффективно оценивать риски и разрабатывать стратегии их уменьшения.
3. Создание четких политик использования ИИ
Сотрудники нуждаются в четких указаниях по приемлемому использованию ИИ, поэтому важно иметь четко определенную политику ответственного использования ИИ. Эта политика должна определять типы данных, которые можно обрабатывать, запрещенные действия и протоколы безопасности, что должны соблюдаться всеми.
В данной политике должны быть рассмотрены:
- Утвержденные инструменты и платформы ИИ
- Разрешены случаи использования ИИ
- Требования и ограничения по обработке данных
- Стандарты безопасности и конфиденциальности
- Обязательства по соблюдению нормативных требований
- Процедуры утверждения новых внедрений ИИ
- Этические руководства по разработке и использованию ИИ
4. Техническая реализация управления ИИ
Команды AppSec должны внедрить комплексные средства управления:
- Интеграция пайплайнов CI/CD. Внедрение проверок безопасности ИИ в пайплайны CI/CD для выявления и оценки компонентов ИИ во время создания и развертывания. Эти проверки могут выявить несанкционированные компоненты ИИ, проверить конфигурации безопасности и обеспечить соблюдение политик управления перед развертыванием.
- Управление зависимостями. Внедрение контроля зависимостей с учетом ИИ, который ограничивает, какие пакеты, библиотеки и модели ИИ можно использовать в приложениях. Сюда входят утвержденные конфигурации репозиториев, закрепление версий и автоматическое сканирование уязвимостей компонентов ИИ.
- Сетевой контроль. Внедрение фильтрации исходных данных для конечных точек API ИИ, чтобы контролировать, с какими внешними службами ИИ могут взаимодействовать приложения. Сюда входят сетевые политики, шлюзы API и прокси-серверы, обеспечивающие контроль доступа для взаимодействия со службами ИИ.
5. Внедрение технических предохранителей
С технической стороны, как отмечает IBM, предохранители могут включать политику внешнего использования ИИ, песочницу для тестирования приложений ИИ или фаерволы для блокирования несанкционированных внешних платформ.
К техническим предохранителям для использования ИИ относятся:
- Прокси-сервисы для API ИИ. Внедрение организационных прокси-сервисов для сервисов ИИ, выступающих посредниками во взаимодействии между приложениями и внешними сервисами ИИ. Эти прокси-серверы могут использовать политики безопасности, фильтровать конфиденциальные данные, регистрировать взаимодействия и обеспечивать централизованное управление использованием ИИ.
- Контейнерные политики сохранности. Внедрение механизмов политик, таких как Open Policy Agent (OPA) для обеспечения контроля безопасности рабочих нагрузок с искусственным интеллектом. Эти политики могут ограничивать, какие модели ИИ можно разворачивать, внедрять конфигурации безопасности и обеспечивать соответствие организационным стандартам.
- Безопасная среда для разработки ИИ. Обеспечение санкционированных сред для разработки ИИ, включающих предварительно утвержденные инструменты, библиотеки и сервисы. Эти среды могут гарантировать контроль безопасности, одновременно предоставляя разработчикам необходимые возможности, что уменьшает стимулы для использования теневых альтернатив ИИ.
6. Внедрение контроля доступа
Организациям следует ввести контроль доступа на основе ролей (RBAC) для инструментов ИИ, выполняющих задачи, чувствительные к безопасности, и регулярно проверять журналы входных и выходных данных, чтобы выявить потенциальную утечку данных.
Ограничения доступа к конфиденциальным данным и внедрение средств контроля, предотвращающих несанкционированный обмен данными с внешними службами ИИ, могут значительно снизить риски теневого ИИ. С технической стороны эти средства контроля могут содержать:
- Инструменты предотвращения потери данных, которые обнаруживают и блокируют передачу конфиденциальных данных
- Фильтрация сетевого трафика для конечных точек сервисов ИИ
- Шлюзы API, обеспечивающие контроль доступа к сервисам ИИ
- Политики безопасности контейнеров, ограничивающих рабочие нагрузки ИИ
- Безопасные анклавы для обработки конфиденциальных данных
- Мониторинг несанкционированного использования платформ для хостинга моделей ИИ (например, AWS SageMaker, Azure AI).
7. Обучение и тренинги для работников
Информирование работников о рисках и лучших практиках ИИ – один из самых эффективных способов уменьшить распространение теневого ИИ. Следует сосредоточиться на практических рекомендациях, отвечающих их ролям, например, как защитить конфиденциальные данные и избежать теневых приложений ИИ с высоким уровнем риска.
Повышение осведомленности о рисках теневого ИИ и обучение правильному использованию ИИ имеет решающее значение для разных команд. Такое обучение должно охватывать:
- Риски по безопасности и комплаенсу, связанные с несанкционированным использованием ИИ
- Как запрашивать и внедрять одобренные решения по ИИ
- Безопасные методы обработки данных при использовании инструментов ИИ
- Политики и процедуры управления ИИ в организации
- Безопасные методы разработки компонентов ИИ
- Этические соображения по внедрению ИИ
Для команд разработчиков этот тренинг должен включать практические рекомендации по безопасным моделям внедрения ИИ, методам защиты данных и интеграции возможностей ИИ в действующие системы управления.
8. Планирование реагирования на инциденты
Разработка протоколов реагирования на инциденты специально для инцидентов безопасности, связанных с искусственным интеллектом, гарантирует, что организация сможет эффективно реагировать, если теневой ИИ приведет к утечке данных или другим нарушениям безопасности. Эти протоколы должны содержать:
- Механизмы обнаружения. Внедрение мониторинга аномалий, связанных с искусственным интеллектом, таких как необычные шаблоны использования API, подозрительные передачи данных или неожиданное поведение модели.
- Процедуры изоляции. Определение шагов по изоляции скомпрометированных компонентов ИИ, включая сетевую изоляцию, приостановку работы сервисов и меры сдерживания. Выключение ключей API, отзыв токенов доступа, создание снепшотов пораженных ресурсов.
- Искоренение. Удаление несанкционированных моделей, расширений или сервисов и очистка остаточных артефактов из хранилищ, контейнеров и облачных хранилищ.
- Методы форензического анализа. Разработка специализированных процедур для анализа компонентов ИИ, включая проверку моделей, анализ потоков данных и оценку поведения. Эти инструменты могут помочь командам безопасности понять характер и масштабы инцидентов безопасности, связанных с системами ИИ.
- Этапы исправления. Создание четких процессов для устранения инцидентов безопасности, связанных с системами ИИ, включая обновление моделей, восстановление данных и усиление безопасности.
- Коммуникационные протоколы. Определение того, как сообщать об инцидентах безопасности, связанных с искусственным интеллектом, заинтересованным сторонам, включая регуляторные требования к отчетности.
- Анализ после инцидента. Определение первопричин этой проблемы. Пробелы в учебных данных? Спешка в выполнении задач? Нехватка инструментов? Соответственно необходимо обновить правила обнаружения, документы политик и средства контроля доступа.
Теневой ИИ вызывает все большее беспокойство в организациях. Без систематического обнаружения, управления и обучения вполне вероятно, что эти неконтролируемые модели уже создают неприемлемые риски. Задача состоит в том, чтобы выявить их прежде, чем это сделают злоумышленники.
Контроль над рисками теневого ИИ с Mend AI
Такие инструменты, как Mend AI, обеспечивают видимость и контроль над скрытыми компонентами ИИ в коде и инфраструктуре, помогая организациям перейти от реактивного обнаружения к проактивному управлению.
Безопасное кодирование, управление рисками, комплаенс и соблюдение политик не изменились. Если организация уже соблюдает практику безопасного кодирования, политик контроля доступа и комплаенса – она хорошо подготовлена к работе с искусственным интеллектом.
Подходя к теневому ИИ с технической точностью и интегрируя управление в действующие системы безопасности, организации могут использовать преимущества ИИ, сохраняя при этом безопасность, соответствие требованиям и операционную целостность на протяжении всего жизненного цикла разработки.
