Штучний інтелект став ключовим елементом сучасних програмних застосунків, і відсутність прозорості його компонентів позбавляє можливості контролю. Подібно до списку компонентів програмного забезпечення (SBOM), AI Bill of Materials (AI BOM, AIBOM) перетворюється на важливий інструмент для документування та захисту цього нового й складного ланцюга постачання.
AI BOM vs. SBOM
Мета AI BOM і SBOM однакова – забезпечити необхідну прозорість цифрових ланцюгів постачання. Однак, якщо SBOM зазвичай зосереджується на сторонніх бібліотеках, версіях, ліцензіях і вразливостях програмних компонентів, AI BOM виходить на новий рівень і поширює цю концепцію на весь життєвий цикл моделі ШІ. Як приклади можна навести навчальні датасети, ваги моделей та методи аугментації даних – саме такі артефакти зазвичай входять до складу.
Переваги впровадження AI BOM
Першою перевагою, яку організації, ймовірно, враховують при впровадженні AIBOM, є прозорість, яку вони отримують. Все, що використовується для побудови та розгортання систем ШІ, включаючи навчальні набори даних, алгоритми, бібліотеки та фреймворки, а також усі залежності та прийняті рішення, стає видимим, каталогізується та стає відстежуваним. Це підвищує рівень безпеки ШІ, допомагаючи виявляти ризики та зменшувати вразливості, а також задовольняючи вимоги до аудиту. AIBOM може допомогти зміцнити та сформувати довіру до систем ШІ, особливо для тих, хто відстає у впровадженні.
AI BOM також чудово підходить для підвищення операційної ефективності. Команди можуть легко повторно використовувати задокументовані компоненти, масштабувати реплікацію систем ШІ та легше співпрацювати між відділами з іншими стейкхолдерами ШІ в різних командах.
Як AI BOM допомагає гарантувати безпеку GenAI?
AIBOM допомагає зменшити ризики, пов’язані з ШІ, які виходять за межі традиційних ризиків, пов’язаних із застосуванням.
- Запобігання витоку даних. Завдяки деталізації джерел даних для навчання та контролю доступу AI BOM допомагає забезпечити, щоб конфіденційна або власницька інформація не була випадково використана або розкрита під час розробки моделі.
- Виявлення adversarial-ризиків. AI BOM забезпечує простежуваність вхідних даних і конфігурацій моделі, допомагаючи командам виявляти вразливість до зловмисних вхідних даних або атак отруєння.
- Прозорість втручання в модель. Запис походження моделі та історії оновлень може попередити команди про несанкціоновані зміни, забезпечуючи цілісність протягом усього життєвого циклу.
- Захист від атак ін’єкції промпту. Документування того, як обробляються та фільтруються промпти, може допомогти забезпечити дотримання обмежень щодо обробки вхідних даних у системах GenAI, зменшуючи ризик зловмисної експлуатації промптів.
5 ключових компонентів AI BOM
AIBOM це не просто список файлів моделей або посилань на набори даних. AI Bill of Materials повинен охоплювати весь контекст розробки, навчання та впровадження моделі ШІ.
1. Метадані моделі
Охоплюють архітектуру моделі (наприклад, трансформатор, згорткову нейронну мережу), цілі навчання, інформацію про версії та параметри або ваги, що використовуються під час навчання. Запис походження моделі (хто створив модель, коли і як) також має вирішальне значення для встановлення довіри та простежуваності. Бонус? Для команд, які використовують сторонні або відкриті моделі, метадані також слугують для перевірки автентичності джерела та ліцензування.
2. Набори даних
Датасети для навчання та валідації будуть містити інформацію про джерела даних, формати, практики маркування та етапи попередньої обробки. Документування наборів даних, що використовуються для навчання моделі, не тільки сприяє відтворюваності, але й відіграє центральну роль у розв’язанні питань якості даних та потенційної упередженості. Наприклад, запис про те, чи була мовна модель навчена переважно на англомовних новинах, може виявити географічну або культурну упередженість у її результатах. Для випадків використання з високим ризиком або регульованих випадків використання прозорість наборів даних все частіше вимагається в рамках стандартів відповідності та аудиту.
3. Програмне забезпечення та фреймворки
Сучасні системи штучного інтелекту побудовані з використанням складного стека бібліотек машинного навчання, фреймворків та залежностей, таких як TensorFlow, PyTorch, scikit-learn або Hugging Face Transformers. Подібно до традиційного SBOM, AI BOM повинен містити перелік усіх відповідних програмних пакетів, версій та ліцензій. Це допомагає командам з безпеки виявляти відомі вразливості, застосовувати виправлення та забезпечувати узгодженість у різних середовищах.
4. Апаратне забезпечення та обчислювальне середовище
Оскільки апаратне забезпечення та середовище виконання, що використовуються для навчання та інференції, можуть впливати на продуктивність та надійність моделей ШІ, специфікація ШІ повинна містити ключові деталі про обчислювальну інфраструктуру. Слід враховувати типи графічних процесорів, конфігурації пам’яті та операційні системи, які забезпечать відтворюваність та усунення несправностей. Це особливо важливо для моделей, чутливих до поведінки на рівні апаратного забезпечення, або тих, що розгорнуті в різних середовищах. Наприклад, модель, оптимізована для графічних процесорів з великим об’ємом пам’яті, може зазнавати зниження продуктивності або чисельної нестабільності під час роботи на периферійних пристроях з обмеженими обчислювальними можливостями.
5. Документація з етики та використання
Нарешті, відповідальне використання ШІ вимагає не лише технічної прозорості. AI BOM також має містити документацію щодо політики використання моделі, передбачуваних застосувань, відомих обмежень та етичних міркувань. Це сприяє узгодженню з внутрішніми політиками управління та зовнішніми стандартами відповідального впровадження ШІ. Зокрема, для генеративного ШІ це може допомогти уточнити прийнятне використання, стратегії модерації та заходи захисту від зловживання.
Як створити AI BOM
Створення ефективного AI BOM буде структурованим, повторюваним процесом, який інтегрується з чинними робочими процесами DevSecOps і підтримує постійну прозорість протягом усього життєвого циклу ШІ.
- Визначення сфери застосування та цілей. Слід почати з визначення моделей, додатків або середовищ, які охоплюватиме AI BOM, або нормативних вимог, яким необхідно відповідати. Уточнити цілі щодо прозорості, відповідності вимогам або безпеки, щоб гарантувати узгодженість зі стратегіями управління ризиками в організації.
- Виявлення активів. Створення карти всіх відповідних активів ШІ у середовищі. Сюди входять навчені моделі, набори даних, скрипти навчання, менеджери пакетів, API, а також компоненти та залежності сторонніх розробників. Автоматизовані інструменти виявлення можуть допомогти виявити приховані залежності та некеровані активи.
- Збір метаданих. Збір детальної інформації про кожен актив, включаючи параметри моделі, джерела наборів даних, версії програмного забезпечення та конфігурації обчислювальних ресурсів. Ці метадані становлять основу AI BOM і забезпечують ефективне відстеження, аналіз ризиків та аудити.
- Організація інвентаризації. Структуризація зібраних даних у стандартизованому форматі, який полегшує пошук, фільтрування та аналіз. По можливості узгодження цієї структури з чинними фреймворками SBOM, щоб забезпечити узгодженість та інтеграцію.
- Інтеграція з пайплайнами. Вбудовування генерації AI BOM у пайплайни розробки ML. Це гарантує автоматичне оновлення документації з кожною версією моделі.
- Застосування управління. Визначення політик щодо того, що потрібно в AI BOM і хто відповідає за його підтримку. Управління повинно включати контроль доступу, робочі процеси перегляду та управління версіями. Це гарантує, що інші зможуть відстежувати походження та еволюцію моделей ШІ.
- Перевірка та підтримка. Постійне відстеження змін та впевненість, що AI BOM залишаються точними з часом. Періодична перевірка допомагає виявити відхилення, відсутні елементи або застарілі компоненти.
- Включення у SecOps. Зробити AI BOM функціональною частиною операцій з безпеки та пайплайнів розгортання. Використання його для підтримки управління вразливостями, реагування на інциденти та звітності про відповідність, так само як SBOM використовуються в безпечних ланцюгах постачання програмного забезпечення.
Mend.io для створення AI BOM
Mend.io забезпечує захист застосунків зі штучним інтелектом завдяки проактивному підходу до усунення ризиків, пов’язаних з ШІ, та інструментам, розробленим спеціально для систем ШІ. Рішення дає змогу відображати всі компоненти ШІ в пайплайні розробки, автоматично виявляючи моделі, агентів, RAG- та MCP-елементи у застосунках і формуючи актуальний, безперервно оновлюваний AI BOM. Додатково підтримується централізоване застосування політик із правилами для використання моделей, ліцензування та безпеки промптів, включно з автоматизованим впровадженням та процесами погодження.
