Виявлення та управління тіньовим ШІ: 8 найкращих практик

Що таке тіньовий ШІ?

Тіньовий ШІ (Shadow AI) – це несанкціоноване або некероване використання інструментів, моделей, фреймворків, API або платформ ШІ, що працюють поза встановленими рамками управління в організації. Хоча працівники можуть використовувати ці інструменти ШІ з добрими намірами, прагнучи підвищити продуктивність або розв’язувати проблеми більш ефективно, відсутність контролю створює значні ризики для безпеки, дотримання нормативних вимог та операційні ризики.

Розробники швидко інтегрують штучний інтелект без відома або контролю з боку команд безпеки додатків. Практично всі відійшли від використання ШІ виключно як внутрішнього інструменту і розгортають моделі ШІ. Багато хто експериментує з агентами ШІ. Розробники не питають команду безпеки додатків, що робити, коли справа доходить до використання ШІ. Це створює середовище, в якому компоненти ШІ працюють у тіні кодової бази організації, невидимі для команд безпеки.

З перспективи AppSec, тіньовий ШІ являє собою значну сліпу зону в системі безпеки організації, оскільки ці неперевірені компоненти ШІ можуть обробляти конфіденційні дані, приймати автоматизовані рішення і впроваджувати вразливості, які залишаються невиявленими за допомогою звичайних процесів сканування і тестування безпеки.

Тіньовий ШІ: стратегії виявлення та управління

Організаціям потрібні комплексні стратегії для подолання викликів тіньового ШІ:

1. Відстеження використання ШІ

Хороша новина полягає в тому, що у Mend є інструменти, які виявляють ШІ в додатках. Файли та код моделей і агентів ШІ мають певні характеристики, які можуть бути виявлені іншими моделями ШІ, навченими для цього завдання. Так само ці моделі можуть виявляти ліцензії моделей ШІ з відкритим вихідним кодом.

Наприклад, такий інструмент, як Mend AI, сканує кодові бази, маніфести додатків і дерева залежностей на наявність прихованих компонентів ШІ. Потім він генерує звіт (Shadow AI report), який надає детальну карту використання ШІ в організації, забезпечуючи видимість обсягу використання ШІ в різних продуктах, проєктах та організаційних підрозділах.

Впровадження інструментів моніторингу, здатних виявляти діяльність, пов’язану зі штучним інтелектом, у мережах, додатках і хмарних сервісах, є важливим кроком. Ці рішення для моніторингу повинні бути здатні ідентифікувати:

• API-виклики до зовнішніх сервісів, пов’язані зі штучним інтелектом
• Бібліотеки та фреймворки машинного навчання в додатках
• Файли моделей і компоненти штучного інтелекту в зображеннях контейнерів
• Передачу даних до сервісів і платформ штучного інтелекту
• Бази даних vector і сервіси embedding

2. Аудит та інвентаризація інструментів ШІ

Проведення комплексного аудиту для виявлення всіх інструментів і моделей ШІ, що використовуються в організації, створює основу для зусиль з управління. Ця інвентаризація повинна містити детальну інформацію про те, які системи штучного інтелекту використовуються, ким, для яких цілей і які дані вони обробляють. Сюди також слід включити виявлення артефактів ШІ у файлах моделей, конфігураційних файлах, навчальних датасетів, контрольних точках доналаштування LLM.

Потім слід провести аудит і створити внутрішній реєстр активів ШІ або єдине вірогідне джерело інформації (source-of-truth) для кожної моделі та розгортання ШІ.

За допомогою такого інструменту, як Mend AI, з’являється можливість виявляти різні технології штучного інтелекту, зокрема сторонні LLM API, такі як OpenAI та Azure, відкриті моделі машинного навчання з реєстрів, таких як HuggingFace та Kaggle, а також бібліотеки embedding. Це забезпечує повну видимість компонентів ШІ, що використовуються у коді, включно з тіньовим ШІ. Таким чином виявляються та позначаються випадки використання, не санкціоновані реєстром. Ця інвентаризація забезпечує критично важливу видимість поверхні атак ШІ в організації, що дає змогу ефективніше оцінювати ризики та розробляти стратегії їх зменшення.

3. Створення чітких політик використання ШІ

Співробітники потребують чітких вказівок щодо прийнятного використання ШІ, тому важливо мати чітко визначену політику відповідального використання ШІ. Ця політика повинна визначати типи даних, які можна обробляти, заборонені дії та протоколи безпеки, яких повинні дотримуватися всі.

У цій політиці мають бути розглянуті:

• Затверджені інструменти та платформи ШІ
• Дозволені випадки використання ШІ
• Вимоги та обмеження щодо обробки даних
• Стандарти безпеки та конфіденційності
• Зобов’язання щодо дотримання нормативних вимог
• Процедури затвердження нових впроваджень ШІ
• Етичні настанови щодо розробки та використання ШІ

4. Технічна реалізація управління ШІ

Команди AppSec повинні впровадити комплексні засоби управління:

• Інтеграція пайплайнів CI/CD. Впровадження перевірок безпеки ШІ в пайплайни CI/CD для виявлення та оцінки компонентів ШІ під час процесу створення та розгортання. Ці перевірки можуть виявити несанкціоновані компоненти ШІ, перевірити конфігурації безпеки та забезпечити дотримання політик управління перед розгортанням.
• Управління залежностями. Впровадження контролю залежностей з урахуванням ШІ, який обмежує, які пакети, бібліотеки та моделі ШІ можна використовувати в додатках. Сюди входять затверджені конфігурації репозиторіїв, закріплення версій і автоматичне сканування вразливостей для компонентів ШІ.
• Мережевий контроль. Впровадження фільтрації вихідних даних для кінцевих точок API ШІ, щоб контролювати, з якими зовнішніми службами ШІ можуть взаємодіяти додатки. Сюди входять мережеві політики, шлюзи API й проксі-сервери, які забезпечують контроль доступу для взаємодії зі службами ШІ.

5. Впровадження технічних запобіжників

З технічної сторони, як зазначає IBM, запобіжники можуть включати політику щодо зовнішнього використання ШІ, середовище пісочниці для тестування додатків ШІ або фаєрволи для блокування несанкціонованих зовнішніх платформ.

До технічних запобіжників для використання ШІ відносяться:

• Проксі-сервіси для API ШІ. Впровадження організаційних проксі-сервісів для сервісів ШІ, які виступають посередниками у взаємодії між додатками та зовнішніми сервісами ШІ. Ці проксі-сервери можуть застосовувати політики безпеки, фільтрувати конфіденційні дані, реєструвати взаємодії та забезпечувати централізоване управління використанням ШІ.
• Контейнерні політики безпеки. Впровадження механізмів політик, таких як Open Policy Agent (OPA), для забезпечення контролю безпеки робочих навантажень зі штучним інтелектом. Ці політики можуть обмежувати, які моделі ШІ можна розгортати, впроваджувати конфігурації безпеки та забезпечувати відповідність організаційним стандартам.
• Безпечне середовище для розробки ШІ. Забезпечення санкціонованих середовищ для розробки ШІ, які включають попередньо затверджені інструменти, бібліотеки та сервіси. Ці середовища можуть гарантувати контроль безпеки, одночасно надаючи розробникам необхідні можливості, що зменшує стимули для використання тіньових альтернатив ШІ.

6. Впровадження контролю доступу

Організаціям слід впровадити контроль доступу на основі ролей (RBAC) для інструментів ШІ, що виконують завдання, чутливі до безпеки, і регулярно перевіряти журнали вхідних і вихідних даних, щоб виявити потенційний витік даних.

Обмеження доступу до конфіденційних даних і впровадження засобів контролю, які запобігають несанкціонованому обміну даними із зовнішніми службами ШІ, можуть значно знизити ризики тіньового ШІ. З технічної сторони ці засоби контролю можуть містити:

• Інструменти запобігання втраті даних, які виявляють і блокують передачу конфіденційних даних
• Фільтрація мережевого трафіку для кінцевих точок сервісів ШІ
• Шлюзи API, які забезпечують контроль доступу до сервісів ШІ
• Політики безпеки контейнерів, які обмежують робочі навантаження ШІ
• Безпечні анклави для обробки конфіденційних даних ШІ
• Моніторинг несанкціонованого використання платформ для хостингу моделей ШІ (наприклад, AWS SageMaker, Azure AI).

7. Навчання та тренінги для працівників

Інформування працівників про ризики та найкращі практики ШІ – один із найефективніших способів зменшити поширення тіньового ШІ. Слід зосередитися на практичних рекомендаціях, які відповідають їхнім ролям, наприклад, як захистити конфіденційні дані та уникнути тіньових застосунків ШІ з високим рівнем ризику.

Підвищення обізнаності про ризики тіньового ШІ та навчання правильного використання ШІ має вирішальне значення для різних команд. Таке навчання має охоплювати:

• Ризики для безпеки та комплаєнсу, пов’язані з несанкціонованим використанням ШІ
• Як запитувати та впроваджувати схвалені рішення щодо ШІ
• Безпечні методи обробки даних під час використання інструментів ШІ
• Політики та процедури управління ШІ в організації
• Безпечні методи розробки компонентів ШІ
• Етичні міркування щодо впровадження ШІ

Для команд розробників цей тренінг повинен включати практичні рекомендації щодо безпечних моделей впровадження ШІ, методів захисту даних та інтеграції можливостей ШІ в чинні системи управління.

8. Планування реагування на інциденти

Розробка протоколів реагування на інциденти спеціально для інцидентів безпеки, пов’язаних зі штучним інтелектом, гарантує, що організація зможе ефективно реагувати, якщо тіньовий ШІ призведе до витоку даних або інших порушень безпеки. Ці протоколи повинні містити:

1. Механізми виявлення. Впровадження моніторингу аномалій, пов’язаних зі штучним інтелектом, таких як незвичні шаблони використання API, підозрілі передачі даних або несподівана поведінка моделі.
2. Процедури ізоляції. Визначення кроків для ізоляції скомпрометованих компонентів ШІ, включно з мережевою ізоляцією, призупиненням роботи сервісів і заходами стримування. Вимкнення ключів API, відкликання токенів доступу, створення снепшотів уражених ресурсів.
3. Викорінення. Видалення несанкціонованих моделей, розширень або сервісів і очищення залишкових артефактів зі сховищ, контейнерів і хмарних сховищ.
4. Методи форензичного аналізу. Розробка спеціалізованих процедур для аналізу компонентів ШІ, включно з перевіркою моделей, аналізом потоків даних і оцінкою поведінки. Ці інструменти можуть допомогти командам безпеки зрозуміти характер і масштаби інцидентів безпеки, пов’язаних із системами ШІ
5. Етапи виправлення. Створення чітких процесів для усунення інцидентів безпеки, пов’язаних із системами ШІ, включно з оновленням моделей, відновленням даних і посиленням безпеки.
6. Комунікаційні протоколи. Визначення того, як повідомляти про інциденти безпеки, пов’язані зі штучним інтелектом, зацікавленим сторонам, включно з регуляторними вимогами до звітності.
7. Аналіз після інциденту. Визначення першопричин цієї проблеми. Прогалини в навчальних даних? Поспіх у виконанні завдань? Брак інструментів? Відповідно слід оновити правила виявлення, документи політик та засоби контролю доступу.

Тіньовий ШІ викликає все більше занепокоєння в організаціях. Без систематичного виявлення, управління та навчання, цілком ймовірно, що ці неконтрольовані моделі вже створюють неприйнятні ризики. Завдання полягає в тому, щоб виявити їх до того, як це зроблять зловмисники.

Контроль над ризиками тіньового ШІ з Mend AI

Такі інструменти, як Mend AI, забезпечують видимість і контроль над прихованими компонентами ШІ у коді та інфраструктурі, допомагаючи організаціям перейти від реактивного виявлення до проактивного управління.

Безпечне кодування, управління ризиками, комплаєнс і дотримання політик не змінилися. Якщо організація вже дотримується практик безпечного кодування, політик контролю доступу та комплаєнсу – вона добре підготована до роботи зі штучним інтелектом.

Підходячи до тіньового ШІ з технічною точністю та інтегруючи управління в чинні системи безпеки, організації можуть використовувати переваги ШІ, зберігаючи при цьому безпеку, відповідність вимогам та операційну цілісність протягом усього життєвого циклу розробки.