Искусственный интеллект стал ключевым элементом современных программных приложений и отсутствие прозрачности его компонентов лишает возможности контроля. Подобно списку компонентов программного обеспечения (SBOM), AI Bill of Materials (AI BOM, AIBOM) превращается в важный инструмент для документирования и защиты этой новой и сложной цепочки поставок.
AI BOM vs. SBOM
Цель AI BOM и SBOM одинакова – обеспечить необходимую прозрачность цифровых цепочек поставок. Однако, если SBOM обычно сосредотачивается на сторонних библиотеках, версиях, лицензиях и уязвимостях программных компонентов, AI BOM выходит на новый уровень и распространяет эту концепцию на весь жизненный цикл модели ИИ. В качестве примеров можно привести учебные датасеты, веса моделей и методы аугментации данных – именно такие артефакты обычно входят в состав.
Преимущества внедрения AI BOM
Первым преимуществом, которое организации, вероятно, учитывают при внедрении AIBOM, является прозрачность, что они получают. Все, что используется для построения и развертывания систем ИИ, включая обучающие наборы данных, алгоритмы, библиотеки и фреймворки, а также все зависимости и принятые решения, становится видимым, каталогизируется и отслеживается. Это повышает уровень безопасности ИИ, помогая выявлять риски и уменьшать уязвимости, а также удовлетворяя требования к аудиту. AIBOM может помочь укрепить и сформировать доверие к системам ИИ, особенно для тех, кто отстает во внедрении.
AI BOM также отлично подходит для повышения операционной эффективности. Команды могут легко повторно использовать задокументированные компоненты, масштабировать репликацию систем ИИ и легче сотрудничать между отделами с другими стейкхолдерами ИИ в разных командах.
Как AI BOM помогает гарантировать безопасность GenAI?
AIBOM помогает уменьшить риски, связанные с ИИ, выходящими за пределы традиционных рисков, связанных с применением.
- Предотвращение утечки данных. Благодаря детализации источников данных для обучения и контроля доступа AI BOM помогает обеспечить, чтобы конфиденциальная или собственническая информация не была случайно использована или раскрыта при разработке модели.
- Выявление adversarial-рисков. AI BOM обеспечивает прослеживаемость входных данных и конфигураций модели, помогая командам находить уязвимости к вредоносным входным данным или атакам отравления.
- Прозрачность вмешательства в модель. Запись происхождения модели и истории обновлений может предупредить команды о несанкционированных изменениях, обеспечивая целостность на протяжении всего жизненного цикла.
- Защита от атак инъекции промпта. Документирование того, как обрабатываются и фильтруются промпты, может помочь соблюдать ограничения по обработке входных данных в системах GenAI, уменьшая риск злонамеренной эксплуатации промптов.
5 ключевых компонентов AI BOM
AIBOM – это не просто список файлов моделей или ссылок на наборы данных. AI Bill of Materials должен включать весь контекст разработки, обучения и внедрения модели ИИ.
1. Метаданные модели
Охватывают архитектуру модели (например, трансформатор, сверточную нейронную сеть), цели обучения, информацию о версиях и параметрах или весах, используемых при обучении. Запись происхождения модели (кто создал модель когда и как) также имеет решающее значение для установления доверия и прослеживаемости. Бонус? Для команд, использующих посторонние или открытые модели, метаданные также служат для проверки подлинности источника и лицензирования.
2. Наборы данных
Датасеты для обучения и валидации будут содержать информацию об источниках данных, форматах, практиках маркировки и этапах предварительной обработки. Документирование наборов данных, используемых для обучения модели, не только способствует воспроизводимости, но и играет центральную роль в решении вопросов качества данных и потенциальной предвзятости. Например, запись о том, была ли языковая модель обучена преимущественно на англоязычных новостях, может выявить географическую или культурную предвзятость в ее результатах. Для случаев использования с высоким риском или регулируемых случаев использования прозрачность наборов данных все чаще требуется в рамках стандартов соответствия и аудита.
3. Программное обеспечение и фреймворки
Современные системы искусственного интеллекта построены с использованием сложного стека библиотек машинного обучения, фреймворков и зависимостей, таких как TensorFlow, PyTorch, scikit-learn или Hugging Face Transformers. Подобно традиционному SBOM, AI BOM должен содержать список всех соответствующих программных пакетов, версий и лицензий. Это помогает командам по безопасности выявлять известные уязвимости, применять исправления и обеспечивать согласованность в разных средах.
4. Аппаратное обеспечение и вычислительная среда
Поскольку аппаратное обеспечение и среда выполнения, используемые для обучения и инференции, могут влиять на производительность и надежность моделей ИИ, спецификация ИИ должна содержать ключевые детали об вычислительной инфраструктуре. Следует учитывать типы графических процессоров, конфигурации памяти и операционные системы, которые обеспечат воспроизводимость и устранение неполадок. Это особенно важно для моделей, чувствительных к поведению на уровне аппаратного обеспечения, или тех, которые развернуты в разных средах. Например, модель, оптимизированная для графических процессоров с большим объемом памяти, может подвергаться снижению производительности или численной нестабильности во время работы на периферийных устройствах с ограниченными вычислительными возможностями.
5. Документация по этике и использованию
Наконец ответственное использование ИИ требует не только технической прозрачности. AI BOM также должна содержать документацию о политике использования модели, предполагаемых приложениях, известных ограничениях и этических соображениях. Это способствует согласованию с внутренними политиками управления и внешними стандартами ответственного внедрения ИИ. В частности, для генеративного ИИ это может помочь уточнить приемлемое использование, стратегии модерации и меры защиты от злоупотребления.
Как создать AI BOM
Создание эффективного AI BOM будет структурированным, повторяющимся процессом, который интегрируется с действующими процессами DevSecOps и поддерживает постоянную прозрачность на протяжении всего жизненного цикла ИИ.
- Определение сферы применения и целей. Следует начать с определения моделей, приложений или сред, охватывающих AI BOM, или нормативных требований, которым необходимо отвечать. Уточнить цели прозрачности, соответствия требованиям или безопасности, чтобы гарантировать согласованность со стратегиями управления рисками в организации.
- Выявление активов. Создание карты всех соответствующих активов ИИ в среде. Сюда входят обученные модели, наборы данных, скрипты обучения, менеджеры пакетов, API, а также компоненты и зависимости сторонних разработчиков. Автоматизированные инструменты обнаружения помогут выявить скрытые зависимости и неуправляемые активы.
- Сбор метаданных. Сбор подробной информации о каждом активе, включая параметры модели, источники наборов данных, версии программного обеспечения и конфигурацию вычислительных ресурсов. Эти метаданные составляют основу AI BOM и обеспечивают эффективное отслеживание, анализ рисков и аудиты.
- Организация инвентаризации. Структуризация собранных данных в стандартизированном формате, который облегчает поиск, фильтрацию и анализ. По возможности согласования этой структуры с действующими фреймворками SBOM для обеспечения согласованности и интеграции.
- Интеграция с пайплайнами. Встраивание генерации AI BOM в пайплайны разработки ML. Это гарантирует автоматическое обновление документации по каждой версии модели.
- Применение управления. Определение политик по поводу того, что нужно в AI BOM и кто отвечает за его поддержку. Управление должно включать в себя контроль доступа, рабочие процессы просмотра и управление версиями. Это гарантирует, что другие могут отслеживать происхождение и эволюцию моделей ИИ.
- Проверка и поддержка. Постоянное отслеживание изменений и уверенность, что AI BOM остаются точными с течением времени. Периодическая проверка помогает выявить отклонения, недостающие элементы или устаревшие компоненты.
- Включение в SecOps. Сделать AI BOM функциональной частью операций по безопасности и пайплайнов развертывания. Использование его для поддержки управления уязвимостями, реагирования на инциденты и отчетности о соответствии, так же как SBOM используются в безопасных цепочках поставок программного обеспечения.
Mend.io для создания AI BOM
Mend.io обеспечивает защиту приложений с искусственным интеллектом благодаря проактивному подходу к устранению рисков, связанных с ИИ, и инструментам, разработанным специально для систем ИИ. Решение позволяет отображать все компоненты ИИ в пайплайне разработки, автоматически обнаруживая модели, агентов, RAG- и MCP-элементы в приложениях и формируя актуальный, непрерывно обновляемый AI BOM. Дополнительно поддерживается централизованное применение политик с правилами для использования моделей, лицензирования и безопасности промптов, включая автоматизированное внедрение и процессы согласования.
