Управління штучним інтелектом в AppSec

Кожен новий етап популяризації технологій піднімає нові питання безпеки, і ШІ не є винятком. Управління ШІ може звучати як невідома територія, але насправді це лише ще один етап еволюції тих самих принципів безпеки, які команди AppSec застосовують уже багато років. Основи залишаються незмінними:

• безпечне кодування
• управління ризиками
• відповідність вимогам
• виконання політик

Якщо організація вже дотримується безпечних практик кодування, політик контролю доступу та нормативно-правової бази – вона добре підготовлена до роботи зі ШІ. Управління новими моделями й компонентами ШІ, включно з провайдерами висновків, наборами даних, RAG і агентами, органічно вписується в наявні робочі процеси безпеки та відповідності вимогам. Управління додатками ШІ не сильно відрізняється від управління іншими “не-ШІ” додатками. У Mend.io вже застосовують заходи безпеки до автоматизації та моделей машинного навчання. Це стосується таких сфер, як виявлення шахрайства, боротьба з ботами й виявлення аномалій.

Ключовим моментом є не винайдення нового управління, а вдосконалення та адаптація наявних найкращих практик. Цикл розробки програмного забезпечення (SDLC), оцінювання ризиків і механізми забезпечення дотримання політики не потребують кардинальної перебудови. Вони просто повинні враховувати ШІ як ще один фактор безпеки програмного забезпечення.

З огляду на це…

Хоча управління ШІ значною мірою є продовженням наявних практик управління безпекою, є кілька проблем, які дещо відрізняються від тих, з якими вже стикалися раніше, наприклад:

• Непередбачувана поведінка моделі. Традиційне програмне забезпечення працює детерміновано, але моделі ШІ можуть поводитися непередбачувано. Наприклад, видавати різні результати на однакові вхідні дані або ж відповіді, які абсолютно не відповідають дійсності.
• Ризики витоку даних. Додатки зі штучним інтелектом можуть ненавмисно розкрити інформацію, що є власністю компанії. Таке може статися, якщо вони навчені на конфіденційних даних або налаштовані без належних засобів захисту.
• Маніпуляції з боку противника. Зловмисники можуть використовувати вразливості ШІ. Наприклад, отруїти навчальні дані або створити вхідні дані, які обходять заходи безпеки так, як традиційні системи, засновані на правилах, цього б не дозволили.
• Регуляторна невизначеність. У той час як системи відповідності, такі як SOC 2 та ISO 27001, забезпечують міцну основу для управління, специфічні для ШІ регуляторні норми все ще розвиваються. Це вимагає від організацій залишатися гнучкими.
• Ліцензії на ШІ будуються інакше. Багато моделей ШІ є відкритими… начебто. Але вони не схожі на традиційні ліцензії з відкритим кодом.

Ці виклики не є нездоланними. Більшість із них можна розв’язати за допомогою того самого підходу з пріоритетом безпеки та стратегії shift-left, які вже давно використовують фахівці з безпеки додатків. Штучний інтелект – це відносно новий інструмент. Однак його захист – це лише черговий етап у застосуванні вже перевірених підходів до управління.

Якщо все це здається надто складним, почати варто з одного – виявлення тіньового ШІ в кодовій базі та за її межами. Неможливо захистити або керувати тим, про що немає знання.

Далі слід переходити до розв’язання ключових проблем, інтегруючи їх у вже наявні практики безпеки застосунків.

Управління даними та контроль конфіденційності

• Переконатися, що ШІ-моделі не тренуються на конфіденційних або приватних даних, що може призвести до ненавмисного витоку інформації.
• Впровадити контроль доступу на основі ролей (role-based access controls, RBAC) для інструментів ШІ, що виконують завдання, вразливі з погляду безпеки.
• Регулярно перевіряти логи вхідних і вихідних даних, щоб виявити потенційні ризики витоку даних.

Безпека та моніторинг моделей ШІ

• Захиститися від ворожих атак, перевіряючи вхідні та вихідні дані ШІ на відповідність відомим шаблонам атак.
• Регулярно тестувати моделі ШІ, щоб запобігти дрейфу моделі та регресії безпеки.
• Використовувати методи штучного інтелекту, який можна пояснити (explainable AI, XAI), щоб зробити рішення ШІ прозорішими та більш контрольованими.

Відповідність нормативним вимогам і впровадження політик

• Привести політику безпеки ШІ у відповідність до наявних нормативних документів, таких як SOC 2, ISO 27001 і GDPR.
• Вести чітке документування процесів ухвалення рішень щодо ШІ для підтримки аудиту відповідності.
• Відстежувати нові нормативні акти, що стосуються ШІ, і відповідно коригувати політику управління.

Безпека ланцюжка постачання завдяки ШІ

• Перевірити сторонні моделі ШІ на наявність ризиків для безпеки перед інтеграцією у виробниче середовище.
• Використовувати хешування і цифрові підписи для перевірки цілісності моделей ШІ та запобігання фальсифікаціям.
• Впровадити відстеження походження артефактів, щоб забезпечити простежуваність.

Оцінка ризиків ШІ та реагування на інциденти

• Врахування ризиків, пов’язаних зі штучним інтелектом, у моделях загроз і оцінках безпеки.
• Розроблення сценаріїв реагування на інциденти, пов’язані зі штучним інтелектом, щоб впоратися з неправильною конфігурацією або несподіваною поведінкою моделі.
• Проведення командних навчань для імітації атак на системи зі штучним інтелектом.

Етичність ШІ та зниження упередженості

• Необхідно регулярно тестувати моделі ШІ на наявність упередженості та проблем зі справедливістю, особливо в процесі ухвалення рішень, що стосуються безпеки.
• Варто створити комітети з етики ШІ для аналізу застосунків із підвищеним рівнем ризику.
• Там, де це доречно, користувачам слід надавати прозорість і можливість контролю щодо рішень, які ухвалює ШІ у сфері безпеки.

Усі ці заходи управління базуються на вже наявних найкращих практиках безпеки додатків. Вони підкреслюють, що безпека ШІ – це продовження, а не переосмислення підходів до управління.