Загрози безпеці ШІ розвиваються приблизно у тому ж темпі, що й сам ШІ: надзвичайно швидко. Одні з найновіших і найменш вивчених пов’язані з вразливостями vector and embedding (вразливості векторів і ембедінгів). Ці проблеми привернули до себе увагу після того, як вони увійшли до топ 10 OWASP для LLM. Ризики стають все більш актуальними, оскільки генерація з доповненням через пошук (Retrieval-Augmented Generation, RAG) продовжує домінувати у впровадженні ШІ у секторі підприємств рівня ентерпрайз.
RAG дозволяє організаціям покращити відповіді ШІ, доповнюючи їх даними із зовнішніх баз знань, які зазвичай зберігаються у векторних базах даних. Це значно підвищує якість результатів, але водночас відкриває нові можливості для атак. Від отруєння даних і вбудовування інверсії до несанкціонованого доступу та маніпулювання поведінкою – модель безпеки систем на основі RAG все ще незріла, і зловмисники це знають.
У цій статті розглядаються ці нові ризики, зокрема як вектори та ембедінги можуть стати вразливими місцями в системах ШІ, а також як команди безпеки можуть діяти на випередження, щоб запобігти атакам.
Що таке vectors and embeddings?
Vectors and embeddings – це мова, якою «мислять» системи штучного інтелекту. Вони перетворюють вхідні дані (текст, зображення, код) у високорозмірні числові представлення, які відображають семантичне значення. Візуалізувати векторний простір може бути важко, але інтуїтивно легко уявити, що слова «кіт» і «кошеня» можуть створювати ембедінги, які знаходяться ближче один до одного у векторному просторі, ніж «кіт» і «холодильник».
Векторні бази даних зберігають ці ембедінги, щоб забезпечити швидкий пошук на основі схожості. У системах RAG, коли користувач надсилає запит, модель використовує векторну базу даних для пошуку релевантних документів, які вона потім включає у свою відповідь. Цей механізм підвищує точність, не вимагаючи дорогого повторного навчання самої моделі.
Чому вони викликають занепокоєння з погляду безпеки?
На відміну від традиційних баз даних, векторні бази даних часто не мають надійних засобів захисту. Вони відносно нові, і багато з них були створені для швидкості та масштабованості, а не для захисту від загроз. Це робить їх привабливою ціллю для зловмисників:
- Вилучення конфіденційних даних зі збережених векторів.
- Отруєння бази даних для маніпулювання результатами пошуку.
- Витік даних між користувачами у спільних середовищах.
- Непомітна зміна поведінки штучного інтелекту з плином часу.
Ризики безпеки, пов’язані з вразливостями vector and embedding
1. Атаки отруєння даних
У системах RAG, які дозволяють оновлювати дані в режимі реального часу або автоматично отримувати їх із зовнішніх джерел, зловмисник може внести шкідливі дані до сховища векторів. Якщо ці дані не будуть належним чином перевірені, вони стають частиною пошукового набору, впливаючи на результати моделювання у вигідний для зловмисника спосіб.
Важливе зауваження: ці атаки є успішними лише тоді, коли отримання даних відбувається без належної перевірки або контролю.
Приклад: Оновлення документації з метою отруєння
Зловмисник публікує корисний, на перший погляд, документ на публічному форумі або вікі, який система RAG приймає без перевірки. Вміст містить оманливі або зловмисні твердження, які починають впливати на результати роботи штучного інтелекту, призначені для користувача. Це можуть бути вигадані цитати або неправдиві рекомендації.
1.2. Маніпулювання поведінкою ШІ (альтернативний вплив отруєння даних)
Хоча це не окрема вразливість, це важливий варіант впливу атак з отруєнням даних. Коли база даних RAG отруєна, вона не просто повертає неправильні або оманливі документи – вона може непомітно змінити поведінку моделі. З часом ці зміни накопичуються, змінюючи те, як система штучного інтелекту взаємодіє з користувачами в непередбачуваний спосіб. Результат може бути таким:
- Менше емпатії у спілкуванні з користувачем.
- Більше упередженості або нав’язування думки.
- Надмірна впевненість у відповідях, навіть якщо вони хибні.
Приклад: Втрата емпатії у чат-боті підтримки
Чат-бот, який спочатку був навчений знижувати напругу в складних розмовах, починає відповідати холодно й механічно після того, як його база знань RAG оновлюється надто формальним або упередженим контентом.
2. Несанкціонований доступ та витік даних
У багатьох векторних базах даних відсутній контроль доступу на основі ролей (RBAC) або належна ізоляція користувачів, що підвищує ризик:
- Витоку даних, коли ембедінги, що представляють конфіденційну інформацію, отримують неавторизовані користувачі. Часто це відбувається через те, що контроль доступу або ізоляція користувачів неправильно налаштовані у векторній базі даних. Це проблема на рівні пошуку.
- Ін’єкції промпту, коли зловмисники маніпулюють вмістом, який отримують, або промптами, що надсилаються до LLM, змушуючи його генерувати або розкривати небажану інформацію. Це проблема на рівні генерації.
- Розкриття даних між користувачами, яке особливо небезпечне в SaaS-платформах з кількома корпоративними клієнтами.
Приклад: Витік даних між користувачами
Корпоративний клієнт зберігає власні дослідження у спільній векторній базі даних. Через поганий контроль доступу ембедінги від одного користувача стають доступними для іншого, що призводить до витоку конфіденційних стратегій.
3. Міжконтекстні витоки та суперечливі знання
Системи RAG часто використовують дані з різних джерел. Без чітких контекстних меж це може призвести до:
- Суперечливих відповідей, коли два джерела конфліктують.
- Змішування контекстів користувачів, коли ідеї одного користувача ненавмисно впливають на відповіді іншого.
Приклад: Розбіжність фінансових чат-ботів
Фінансовий консультаційний бот витягує дані з документів клієнта А, відповідаючи на запитання клієнта Б. Це може призвести до дезінформації, порушень комплаєнсу або навіть фінансових втрат.
4. Ембедінг інверсійних атак
Ембедінги за своєю суттю не є односторонніми функціями. Маючи достатній доступ і правильні методи реінжинірингу, зловмисники можуть наблизити або реконструювати оригінальні вхідні дані за збереженими ембедінгами – подібно до реверсування слабких криптографічних хешів, але без переваг односторонніх гарантій.
Приклад: Крадіжка інтелектуальної власності
Зловмисник систематично запитує векторну базу даних, щоб наблизити та реконструювати власні документи, фактично викрадаючи комерційну таємницю без порушення периметра.
Реальні сценарії атак
Сценарій 1: Ін’єкція промпту через отримані ембедінги
У деяких RAG-системах зловмисники можуть намагатися виконати ін’єкцію промпту, шляхом ембедінгу прихованих інструкцій або токенів противника в документи, що зберігаються у векторній базі даних. Коли ШІ отримує ці документи як контекст, вбудовані інструкції потрапляють у підказку і можуть вплинути на результати роботи моделі.
Наслідки: ШІ маніпулюють, змушуючи його розголошувати внутрішні знання, поводитися небезпечно або обходити механізми безпеки – не через прямі підказки користувача, а через отримані ембедінги.
Це робить його комбінованою загрозою: він поєднує в собі елементи ін’єкції промпту зі специфічними для RAG вразливостями ембедінгу.
Сценарій 2: Отруєння даних через вміст, що потрапляє в систему
Зловмисник вносить або публікує шкідливі дані, призначені для потрапляння в базу даних RAG. Після потрапляння в систему цей вміст витягується і впливає на подальші реакції LLM.
Наслідки: Система постійно виявляє маніпульовані або упереджені дані, що призводить до хибних посилань, невірогідних рекомендацій або шкідливої інтерпретації.
Це більше схоже на міжсайтовий скриптинг (XSS), коли шкідливий вміст вставляється в надійне сховище, а потім виконується або відображається.
Сценарій 3: Витік даних між користувачами
Неправильний розподіл користувачів у спільних векторних базах даних дозволяє одному користувачеві запитувати та отримувати дані іншого.
Наслідки: Конфіденційні документи, внутрішні стратегії або дані користувачів стають доступними.
Сценарій 4: Отруєння через загальнодоступний інтернет
Зловмисники публікують великі обсяги шкідливого контенту в Інтернеті, сподіваючись, що він потрапить до систем RAG, які автоматично сканують мережу.
Наслідки: Навчені або доповнені цими даними моделі ШІ починають відображати бачення зловмисника – потенційно поширюючи пропаганду, фейкові новини або шкідливі стереотипи.
Стратегії пом’якшення наслідків
1. Детальний контроль доступу
Впровадження суворого контролю доступу має вирішальне значення для захисту векторних баз даних. Багато з цих систем не були розроблені з урахуванням ворожих загроз, тому вкрай важливо забезпечити дотримання:
- Дозволи на основі ролей: Лише авторизовані користувачі повинні мати можливість робити запити або писати до векторного сховища.
- Ізоляція користувачів: У середовищах з кількома користувачами учасники повинні бути суворо розділені, щоб запобігти спільному доступу на рівні ембедінгу.
2. Перевірка даних та автентифікація джерела
Отруєння даних і зловмисний пошук починається з того, що потрапляє до бази RAG. Ось чому надійні механізми перевірки та автентифікації обов’язкові:
- Перевірка всіх отриманих даних для виявлення шаблонів ін’єкції промпту, шкідливих токенів або пошкоджених форматів.
- Автентифікація джерела даних перед завантаженням, щоб запобігти збереженню ненадійного або підробленого контенту.
- Регулярне сканування векторної бази даних (не лише під час завантаження) на наявність аномалій та ознак маніпуляцій.
3. Моніторинг виконання та ведення логів
Видимість – ключ до захисту. Після того, як система RAG запрацює, потрібно дізнатися, як вона поводиться в реальних умовах:
- Відстеження шаблонів звернень до даних у режимі реального часу, щоб вчасно виявляти аномалії. Наприклад, коли користувачі часто або різко звертаються до певних ембедінгів.
- Фіксування звернень до ембедінгів та запитів у логах. Це потрібно для проведення аудиту, аналізу інцидентів і розслідування подій.
4. Тестування у режимі протистояння та AI red teaming
Щоб зрозуміти, як може бути використана система, потрібно мислити як зловмисник. Це означає, що тестування у режимі протистояння та AI red teaming є комплементарними стратегіями:
- Імітація ворожих сценаріїв, таких як отруєння даних, ембедінг інверсії та витоки даних між користувачами. Ці моделювання допомагають виявити вразливості, які можуть бути неочевидними під час звичайної роботи системи.
- Використання інструментів тестування на основі LLM, щоб оцінити, як ШІ поводиться в граничних ситуаціях, при маніпулюванні контентом або неочікуваних шаблонах промпту.
Висновок
Поки компанії стрімко впроваджують RAG-системи, площини атак так само швидко змінюються. Фахівці з безпеки змушені постійно наздоганяти ці зміни. Вразливості vector and embedding – це не теоретичні ризики, а цілком реальні й експлуатовані загрози, які можуть серйозно вплинути на конфіденційність даних, цілісність моделей та довіру користувачів.
Команди безпеки мають переглянути свій підхід і почати розглядати векторні бази даних як критично важливу частину інфраструктури. Ті самі принципи, які зміцнювали традиційні системи – контроль доступу, перевірка даних, моніторинг – тепер потрібно адаптувати до реалій епохи ШІ.
