Каждый новый этап популяризации технологий приносит новые вопросы безопасности, и ИИ не является исключением. Управление ИИ может звучать как неизвестная территория, но на самом деле это лишь еще один этап эволюции тех же принципов безопасности, которые команды AppSec применяют уже много лет. Основы остаются неизменными:
- безопасное кодирование
- управление рисками
- соответствие требованиям
- выполнение политик
Если организация уже придерживается безопасных практик кодирования, политик контроля доступа и нормативно-правовой базы – она хорошо подготовлена к работе с ИИ. Управление новыми моделями и компонентами ИИ, включая провайдеров выводов, наборы данных, RAG и агентов, органично вписывается в существующие рабочие процессы безопасности и соответствия требованиям. Управление приложениями ИИ не сильно отличается от управления другими “не-ИИ” приложениями. В Mend.io уже применяют меры безопасности к автоматизации и моделям машинного обучения. Это касается таких сфер, как обнаружение мошенничества, борьба с ботами и обнаружение аномалий.
Ключевым моментом является не изобретение нового управления, а совершенствование и адаптация существующих лучших практик. Цикл разработки программного обеспечения (SDLC), оценки рисков и механизмы обеспечения соблюдения политики не нуждаются в кардинальной перестройке. Они просто должны учитывать ИИ как еще один фактор безопасности программного обеспечения.
Учитывая это…
Хотя управление ИИ в значительной степени является продолжением существующих практик управления безопасностью, есть несколько проблем, немного отличающихся от тех, с которыми уже сталкивались ранее, например:
- Непредсказуемое поведение модели. Традиционное программное обеспечение работает детерминировано, но модели ИИ могут вести себя непредсказуемо. Например, выдавать разные результаты на одинаковые входные данные или же ответы, которые совершенно не соответствуют действительности.
- Риски утечки данных. Приложения с искусственным интеллектом могут непреднамеренно раскрыть информацию, являющуюся собственностью компании. Такое может случиться если они обучены на конфиденциальных данных или настроены без надлежащих средств защиты.
- Манипуляции со стороны противника. Злоумышленники могут использовать уязвимости ИИ. Например, отравить учебные данные или создать входные данные, которые обходят меры безопасности так, как традиционные системы, основанные на правилах, этого бы не позволили.
- Регуляторная неопределенность. В то время как системы соответствия, такие как SOC 2 и ISO 27001, обеспечивают прочную основу для управления, специфические для ИИ регуляторные нормы все еще развиваются. Это требует от организаций оставаться гибкими.
- Лицензии на ИИ строятся иначе. Многие модели ИИ являются открытыми… вроде бы. Но они не похожи на традиционные лицензии с открытым кодом.
Эти вызовы не являются непреодолимыми. Большинство из них можно решить с помощью того же подхода с приоритетом безопасности и стратегии shift-left, которые уже давно используют специалисты по безопасности приложений. Искусственный интеллект – это относительно новый инструмент. Однако его защита – это лишь очередной этап в применении уже проверенных подходов к управлению.
Если все это кажется слишком сложным, начать стоит с одного – выявления теневого ИИ в кодовой базе и за ее пределами. Невозможно защитить или управлять тем, о чем нет знания.
Далее следует переходить к решению ключевых проблем, интегрируя их в уже существующие практики безопасности приложений.
Управление данными и контроль конфиденциальности
- Убедиться, что ИИ-модели не тренируются на конфиденциальных или частных данных, что может привести к непреднамеренной утечке информации.
- Внедрить контроль доступа на основе ролей (role-based access controls, RBAC) для инструментов ИИ, выполняющих задачи, уязвимые с точки зрения безопасности.
- Регулярно проверять логи входящих и исходящих данных, чтобы выявить потенциальные риски утечки данных.
Безопасность и мониторинг моделей ИИ
- Защититься от вражеских атак, проверяя входящие и исходящие данные ИИ на соответствие известным шаблонам атак.
- Регулярно тестировать модели ИИ, чтобы предотвратить дрейф модели и регрессию безопасности.
- Использовать методы объясняемого искусственного интеллекта (explainable AI, XAI), чтобы сделать решения ИИ более прозрачными и контролируемыми.
Соответствие нормативным требованиям и внедрение политик
- Привести политику безопасности ИИ в соответствие с существующими нормативными документами, такими как SOC 2, ISO 27001 и GDPR.
- Вести четкое документирование процессов принятия решений по ИИ для поддержки аудита соответствия.
- Отслеживать новые нормативные акты, касающиеся ИИ, и соответственно корректировать политику управления.
Безопасность цепочки поставок благодаря ИИ
- Проверить сторонние модели ИИ на наличие рисков для безопасности перед интеграцией в производственную среду.
- Использовать хеширование и цифровые подписи для проверки целостности моделей ИИ и предотвращения фальсификаций.
- Внедрить отслеживание происхождения артефактов, чтобы обеспечить прослеживаемость.
Оценка рисков ИИ и реагирование на инциденты
- Учет рисков, связанных с искусственным интеллектом, в моделях угроз и оценках безопасности.
- Разработка сценариев реагирования на инциденты, связанных с искусственным интеллектом, чтобы справиться с неправильной конфигурацией или неожиданным поведением модели.
- Проведение командных учений для имитации атак на системы с искусственным интеллектом.
Этичность ИИ и снижение предвзятости
- Необходимо регулярно тестировать модели ИИ на наличие предвзятости и проблем со справедливостью, особенно в процессе принятия решений, касающихся безопасности.
- Стоит создать комитеты по этике ИИ для анализа приложений с повышенным уровнем риска.
- Там, где это уместно, пользователям следует предоставлять прозрачность и возможность контроля в отношении решений, принимаемых ИИ в сфере безопасности.
Все эти меры управления базируются на уже существующих лучших практиках безопасности приложений. Они подчеркивают, что безопасность ИИ – это продолжение, а не переосмысление подходов к управлению.
