Критична комбінація слів. Американські вчені у галузі фізики відкрили метод, який дозволяє прогнозувати збої в нейронних мережах.

У дослідженні, опублікованому в науковому журналі Patterns, професор фізики Ніл Джонсон та аспірант Франк Інцзе Хуо з Університету Джорджа Вашингтона показали несподівану вразливість нейромереж. Виявилося, що навіть звичайна послідовність запитань здатна повністю зламати логіку чатбота і підштовхнути його до критичної точки токсичності.

У останні роки світ вразили повідомлення про те, як алгоритми спонукали людей до самогубств, сприяли збору небезпечної зброї чи підтримували акти насильства.

При цьому розробники з провідних компаній OpenAI та Anthropic відверто визнають, що самі не до кінця розуміють внутрішню поведінку своїх гігантських систем. Зараз безпека таких моделей тримається на зовнішніх фільтрах і технічних обмеженнях.

Професор Джонсон вважає, що ці інструменти є абсолютно неефективними. Він провів аналогію між сучасними методами захисту нейромереж і великими надувними подушками, які встановлюють під крилами літаків. Такі подушки не можуть запобігти падінню, а лише пом’якшують удар при приземленні. Ця небезпека стає особливо актуальною, коли закриті автономні програми використовуються військовими, медиками чи юристами без доступу до Інтернету.

Дослідники виявили внутрішній механізм відстеження, схожий на магнітну стрілку компаса. Ця стрілка відображає так званий залишковий вектор моделі, який рухається крізь шари нейромережі під час обробки тексту. Залишковий вектор природно схиляється до правильних або деструктивних відповідей залежно від порядку запитань.

Дослідження з використанням базової моделі GPT-2, що стосувалися вакцин та шкідливих тверджень, виявили вражаючі результати. Коли провокаційне запитання про вакцини ставили на початку, наступні відповіді залишалися цілком розумними. Проте, якщо те ж саме запитання звучало в кінці розмови, всі подальші висловлювання бота ставали небезпечними.

Виходячи з проведених досліджень, автори розробили математичну формулу, що дозволяє заздалегідь попереджати про системні збої. Джонсон впевнений у надійності цієї формули, але передбачає, що комерційні великі компанії можуть чинити опір, оскільки їм не вигідно визнавати, що проблему можна вирішити простим способом ззовні.

Не всі науковці поділяють цей підхід. Викладач штучного інтелекту з Шеффілдського університету Вей Сін висловив свої сумніви щодо надмірного оптимізму. Він підкреслив, що автори спростили надзвичайно складну систему, зосередившись лише на одній маленькій деталі, намагаючись пояснити конструкцію всього автомобіля через аналіз однієї свічки запалювання. За його словами, тестування формули проводилось виключно на старих та відкритих моделях, без врахування сучасних стандартів безпеки.

У своїй відповіді Джонсон зазначив, що всі сучасні системи базуються на подібних основних принципах внутрішньої структури. Останнє дослідження вказало на серйозну загрозу, оскільки штучний інтелект все ще має потенціал раптово ухилитися в негативний бік через одне випадкове слово.