
Сформулюй той самий запит трохи інакше, і мовна модель відповість зовсім по-іншому. За словами команди проєкту QuantPi, це найпоширеніша проблема, що виникає під час тестування генеративного штучного інтелекту. Дослідники створили платформу, яка сама створює тести, виявляє нестабільність і упередженість та готує документацію для аудиторів. Вони випробували її й на системі, що рекомендує кандидатів на роботу — а наприкінці ти можеш перевірити, наскільки довіряєш відповідям ШІ.
Генеративний штучний інтелект дедалі частіше допомагає оцінювати кандидатів на роботу, обслуговувати клієнтів і підтримувати бізнес-рішення. Його найбільша сила — швидкість. Але в нього є слабкість, яку легко пропустити: він може зовсім по-іншому відреагувати на невелику зміну у формулюванні запитання, мові чи контексті. Для компаній це означає подвійне завдання. Вони мають виявляти такі аномалії, а також потребують документації, яка доводить, що ризик перевірено й він під контролем.
Проєкт QuantPi, який підтримує Європейська рада з інновацій, взявся за цю проблему. Він створив платформу для керування ризиками генеративного штучного інтелекту на основі технології PiCrystal. Інструмент автоматично створює набори тестів, перевіряє поведінку моделі та перетворює результати на документацію, готову до аудиту й пов’язану з вимогами Акта Європейського Союзу про штучний інтелект. Платформа досліджує системи з трьох боків: нестабільні результати, упередженість і наявність доказів, які можна подати під час аудиту.
Що найчастіше виявляється в таких тестах? Лукас Бірінгер (Lukas Bieringer), керівник напряму політики та грантів у QuantPi, відповідає без прикрас: «Це, як правило, непослідовна або нестабільна поведінка за реалістичних змін вхідних даних — той самий клас промптів дає суттєво різні результати залежно від формулювання, мови чи контексту».
На практиці система може легко пройти простий бенчмарк, а потім провалитися, зустрівшись зі справжніми користувачами, які формулюють свої запити по-своєму. Лише тоді виходять на поверхню упередженості й нерівності між групами — відмінності, невидимі в середніх результатах.
Команда перевірила це на конкретному прикладі. Оцінювали систему рекомендації кандидатів на основі великої мовної моделі, а партнерами були рекрутингова платформа Stepstone та лабораторія гарантування якості ШІ TÜV AI.Lab. Висновок важливий для кожного, чиє резюме може потрапити до такої системи. Тестування інструментів ШІ, що використовуються під час найму, потребує великих і репрезентативних наборів даних. Лише вони дають змогу провести інтерсекційне тестування, у якому можна перевірити характеристики різних груп, що перетинаються. Усереднення тут працює як завіса: воно ховає важливі відмінності в тому, як система ставиться до окремих сегментів.
Друга ідея QuantPi — відокремити шар доказів від шару подання. Вона випливає з простого спостереження: різним людям у компанії потрібна різна інформація про ту саму систему.
Щоб ці погляди не розходилися, є одне правило. Бірінгер пояснює: «Ключовий принцип проєктування: усі погляди мають походити з тієї самої статистичної бази доказів, щоб твердження на рівні ради директорів завжди можна було простежити до конкретного результату тесту».
Автоматизація не означає, що людське судження стає непотрібним. Люди визначають, для чого призначена система, обирають, які визначення справедливості чи безпеки застосовуються, встановлюють пороги прийнятності та вирішують, чи впроваджувати інструмент, відкласти його чи вилучити. Розподіл ролей чіткий: платформа вимірює ризик, а відповідальні люди вирішують, який його рівень прийнятний.
Одного разу проведеного тесту також не вистачить назавжди. Моніторинг запускається щоразу, коли змінюється ситуація: після оновлення моделі, переглянутого промпту чи нового індексу пошуку. Дрейф вхідних даних, дрейф результатів і зміни в правилах теж вимагають повторної оцінки, адже будь-що з цього може зробити попередні результати недійсними.
За словами Бірінгера, для багатьох компаній найбільша перешкода вже не в обізнаності з правилами. Він говорить про це відверто: «Чого вони не можуть, так це надати технічні докази відповідності, які витримають перевірку нотифікованого органу чи аудитора, — особливо для генеративних систем, де традиційні звіти за бенчмарками недостатні, а гармонізованих стандартів досі немає». Платформа QuantPi має заповнити саме цю прогалину, перетворюючи технічні тести на докази, якими можуть користуватися різні команди до й після впровадження.
Генеративний ШІ буває примхливим: те саме запитання, поставлене іншими словами, може дати зовсім іншу відповідь, а середні результати тестів можуть приховувати нерівне ставлення до окремих груп. Проєкт QuantPi показує, що для ґрунтовної оцінки таких систем потрібні автоматизовані, повторювані тести, репрезентативні дані та одна спільна база доказів для всіх, від аналітика до ради директорів. Останнє слово про те, який ризик прийнятний, проте й далі належить людям.
5 запитань · одна хвилина