Кожен новий етап популяризації технологій піднімає нові питання безпеки, і ШІ не є винятком. Управління ШІ може звучати як невідома територія, але насправді це лише ще один етап еволюції тих самих принципів безпеки, які команди AppSec застосовують уже багато років. Основи залишаються незмінними:
- безпечне кодування
- управління ризиками
- відповідність вимогам
- виконання політик
Якщо організація вже дотримується безпечних практик кодування, політик контролю доступу та нормативно-правової бази – вона добре підготовлена до роботи зі ШІ. Управління новими моделями й компонентами ШІ, включно з провайдерами висновків, наборами даних, RAG і агентами, органічно вписується в наявні робочі процеси безпеки та відповідності вимогам. Управління додатками ШІ не сильно відрізняється від управління іншими “не-ШІ” додатками. У Mend.io вже застосовують заходи безпеки до автоматизації та моделей машинного навчання. Це стосується таких сфер, як виявлення шахрайства, боротьба з ботами й виявлення аномалій.
Ключовим моментом є не винайдення нового управління, а вдосконалення та адаптація наявних найкращих практик. Цикл розробки програмного забезпечення (SDLC), оцінювання ризиків і механізми забезпечення дотримання політики не потребують кардинальної перебудови. Вони просто повинні враховувати ШІ як ще один фактор безпеки програмного забезпечення.
З огляду на це…
Хоча управління ШІ значною мірою є продовженням наявних практик управління безпекою, є кілька проблем, які дещо відрізняються від тих, з якими вже стикалися раніше, наприклад:
- Непередбачувана поведінка моделі. Традиційне програмне забезпечення працює детерміновано, але моделі ШІ можуть поводитися непередбачувано. Наприклад, видавати різні результати на однакові вхідні дані або ж відповіді, які абсолютно не відповідають дійсності.
- Ризики витоку даних. Додатки зі штучним інтелектом можуть ненавмисно розкрити інформацію, що є власністю компанії. Таке може статися, якщо вони навчені на конфіденційних даних або налаштовані без належних засобів захисту.
- Маніпуляції з боку противника. Зловмисники можуть використовувати вразливості ШІ. Наприклад, отруїти навчальні дані або створити вхідні дані, які обходять заходи безпеки так, як традиційні системи, засновані на правилах, цього б не дозволили.
- Регуляторна невизначеність. У той час як системи відповідності, такі як SOC 2 та ISO 27001, забезпечують міцну основу для управління, специфічні для ШІ регуляторні норми все ще розвиваються. Це вимагає від організацій залишатися гнучкими.
- Ліцензії на ШІ будуються інакше. Багато моделей ШІ є відкритими… начебто. Але вони не схожі на традиційні ліцензії з відкритим кодом.
Ці виклики не є нездоланними. Більшість із них можна розв’язати за допомогою того самого підходу з пріоритетом безпеки та стратегії shift-left, які вже давно використовують фахівці з безпеки додатків. Штучний інтелект – це відносно новий інструмент. Однак його захист – це лише черговий етап у застосуванні вже перевірених підходів до управління.
Якщо все це здається надто складним, почати варто з одного – виявлення тіньового ШІ в кодовій базі та за її межами. Неможливо захистити або керувати тим, про що немає знання.
Далі слід переходити до розв’язання ключових проблем, інтегруючи їх у вже наявні практики безпеки застосунків.
Управління даними та контроль конфіденційності
- Переконатися, що ШІ-моделі не тренуються на конфіденційних або приватних даних, що може призвести до ненавмисного витоку інформації.
- Впровадити контроль доступу на основі ролей (role-based access controls, RBAC) для інструментів ШІ, що виконують завдання, вразливі з погляду безпеки.
- Регулярно перевіряти логи вхідних і вихідних даних, щоб виявити потенційні ризики витоку даних.
Безпека та моніторинг моделей ШІ
- Захиститися від ворожих атак, перевіряючи вхідні та вихідні дані ШІ на відповідність відомим шаблонам атак.
- Регулярно тестувати моделі ШІ, щоб запобігти дрейфу моделі та регресії безпеки.
- Використовувати методи штучного інтелекту, який можна пояснити (explainable AI, XAI), щоб зробити рішення ШІ прозорішими та більш контрольованими.
Відповідність нормативним вимогам і впровадження політик
- Привести політику безпеки ШІ у відповідність до наявних нормативних документів, таких як SOC 2, ISO 27001 і GDPR.
- Вести чітке документування процесів ухвалення рішень щодо ШІ для підтримки аудиту відповідності.
- Відстежувати нові нормативні акти, що стосуються ШІ, і відповідно коригувати політику управління.
Безпека ланцюжка постачання завдяки ШІ
- Перевірити сторонні моделі ШІ на наявність ризиків для безпеки перед інтеграцією у виробниче середовище.
- Використовувати хешування і цифрові підписи для перевірки цілісності моделей ШІ та запобігання фальсифікаціям.
- Впровадити відстеження походження артефактів, щоб забезпечити простежуваність.
Оцінка ризиків ШІ та реагування на інциденти
- Врахування ризиків, пов’язаних зі штучним інтелектом, у моделях загроз і оцінках безпеки.
- Розроблення сценаріїв реагування на інциденти, пов’язані зі штучним інтелектом, щоб впоратися з неправильною конфігурацією або несподіваною поведінкою моделі.
- Проведення командних навчань для імітації атак на системи зі штучним інтелектом.
Етичність ШІ та зниження упередженості
- Необхідно регулярно тестувати моделі ШІ на наявність упередженості та проблем зі справедливістю, особливо в процесі ухвалення рішень, що стосуються безпеки.
- Варто створити комітети з етики ШІ для аналізу застосунків із підвищеним рівнем ризику.
- Там, де це доречно, користувачам слід надавати прозорість і можливість контролю щодо рішень, які ухвалює ШІ у сфері безпеки.
Усі ці заходи управління базуються на вже наявних найкращих практиках безпеки додатків. Вони підкреслюють, що безпека ШІ – це продовження, а не переосмислення підходів до управління.
