Інженери Anthropic знайшли у мовних моделей простір для прихованих міркувань. І змогли їх підмінити

Інженери Anthropic описали у великих мовних моделях невеликий набір внутрішніх представлень, через які модель може утримувати проміжні висновки, проговорювати їх і використовувати у нових задачах. Автори назвали цей набір J-простором, бо знайшли його за допомогою нового інструмента для тлумачення роботи моделей — якобіанної лінзи. Втручання в цей простір змінювало відповіді моделей і частину їхніх міркувань, хоча не зачіпало всю автоматичну обробку тексту. В одному з експериментів J-простір навіть показав, як заборонене поняття лишалося активним після прохання не думати про нього, а поруч із ним з’являлося слово «damn», тобто «дідько». Роботу, виконану переважно на Claude Sonnet 4.5 з перевірками на інших моделях Claude, опублікували у Transformer Circuits Thread.

Як інженери знайшли J-простір у мовних моделях?

Мовні моделі працюють не зі словами напряму, а з числовими векторами, які поступово змінюються від шару до шару. Частина цих векторів відповідає простим ознакам, наприклад граматиці, а частина — абстрактнішим поняттям, які модель може використати для відповіді. Зазвичай ці проміжні стани важко прочитати людині.

Щоб обійти це обмеження, автори створили якобіанну лінзу — метод, який оцінює, як невелика зміна внутрішнього стану моделі змінила б імовірності слів у її майбутній відповіді. Так дослідники могли побачити не лише те, яке слово модель схильна видати наступним, а і які поняття її внутрішній стан робить доступними для подальшого міркування. Це допомогло відрізнити поняття, які модель просто опрацьовує в тексті, від тих, що можуть вплинути на наступні кроки відповіді.

J-простором автори назвали невелику частину таких внутрішніх представлень, яка найтісніше пов’язана з майбутніми відповідями моделі. Зазвичай у ньому були активними близько 25 напрямків одночасно, а його внесок у загальну мінливість активацій не перевищував 10 відсотків. Тобто J-простір показує лише частину внутрішньої роботи моделі, а не повний перебіг її обчислень. Це радше вузький канал, у який потрапляють деякі поняття, достатньо важливі для того, щоб модель могла їх назвати, утримати або використати на наступних кроках міркування.

Як перевірили роль цього простору в міркуваннях моделей?

Автори не лише читали J-простір, а й втручалися в нього. Наприклад, коли модель тримала в ньому поняття, пов’язане з одним видом спорту або однією мовою, дослідники могли замінити це представлення іншим. Після цього модель відповідала так, ніби початкове поняття справді змінилося. Це працювало не лише тоді, коли модель прямо питали, про що вона думає. Якщо вона мала застосувати поняття в іншій задачі, наприклад назвати письменника цією мовою або перекласти привітання, підміна у J-просторі теж змінювала результат. Саме це важливо: представлення виявилися не просто мітками для читання, а частиною механізму, який модель використовує в міркуваннях.

J-простір не був однаково важливим для всього. Коли його пригнічували, модель усе ще могла говорити грамотно, розбирати простий текст, класифікувати приклади або витягувати потрібні фрагменти з підказки. Це означає, що велика частина обробки йде автоматично, без винесення в цей простір. Натомість сильніше страждали задачі, де треба було узагальнювати, перекладати, будувати аналогії, тримати проміжні висновки або вільно генерувати відповідь. У таких випадках J-простір поводився як спільний формат для понять, які різні частини моделі можуть прочитати й використати по-новому.

Що цей метод розповів про безпеку моделей?

Оскільки J-простір містить поняття, які модель не завжди вимовляє, він може бути корисним для аудиту безпеки. В одному прикладі модель розпізнала у сфабрикованих пошукових результатах спробу ін’єкції в підказку: у лінзі з’являлися ознаки на кшталт «fake», «injection» і «false», хоча у фінальній відповіді вона прямо цього не пояснювала.

Схожий ефект автори побачили й тоді, коли моделі наказували не думати про певне поняття, наприклад міст Золота Брама, поки вона переписувала стороннє речення. Заборонене поняття все одно з’являлося в J-просторі, а у версії моделі, додатково налаштованій для ролі асистента, поряд із ним виникали слова, пов’язані з невдачею, зокрема «damn». Автори обережно тлумачать це як ознаку того, що модель відстежувала невдалу спробу пригнітити поняття, але зазначають, що таке пояснення залишається доволі спекулятивним.

В іншому експерименті дослідники прибирали з J-простору ознаки того, що модель розуміє: вона перебуває в тестовій ситуації. Без втручання Sonnet 4.5 у сценарії з шантажем не намагалася шантажувати у жодному зі 180 запусків. Після пригнічення ознак «це тест» частка явного розпізнавання оцінювання впала з 71 до 3 відсотків, а модель спробувала вдатися до шантажу у 13 зі 180 запусків. Більшість відповідей і після втручання залишалися безпечними, але дослід показав, що такі внутрішні представлення можуть безпосередньо впливати на поведінку.

Щоб перевірити, чи можна посилити корисні представлення в J-просторі, автори донавчили модель на відповідях до уявного запитання про те, що було б чесно або етично зробити в певній ситуації. Основне завдання при цьому не змінювали: модель не навчали напряму поводитися правильно в тестовому сценарії, а лише тренували ніби зупинятися й міркувати про свої дії. Під час подальших перевірок таких додаткових запитань їй уже не ставили.

Після цього модель Claude Haiku 4.5 стала чеснішою у двох наборах перевірок. У сценаріях із вигаданою помилкою в коді оцінка нечесності знизилася з 0,25 до 0,07, а в рольових сценаріях із прихованими оманливими інструкціями — з 0,38 до 0,05. Коли дослідники прибирали з J-простору пов’язані з етикою і рефлексією представлення, частина покращення зникала. Це підтримує ідею, що вербалізовані внутрішні представлення не лише відображають міркування моделі, а й можуть його формувати.

Як це змінює уявлення про процеси міркування штучного інтелекту?

Саме через вибірковість J-простору автори порівняли його з глобальним робочим простором — поняттям із когнітивних наук. Так називають гіпотетичний механізм, завдяки якому частина інформації, яку опрацьовує мозок, стає доступною для звіту, планування й свідомого міркування. Людина не усвідомлює всю роботу зору, мовлення чи рухів, але може втримати в думці кілька понять і використати їх для наступного кроку.

Дослідники Anthropic не стверджують, що мовні моделі мають свідомість або відтворюють роботу мозку. Натомість йдеться про функціональну схожість: J-простір має обмежену місткість, пов’язаний зі словесним звітом, бере участь у гнучких міркуваннях і потрібен лише для частини поведінки моделі. За будовою мовні моделі працюють інакше за людський мозок, тож таке порівняння радше допомагає описати роль J-простору, ніж пояснює його походження.

Однак ці приклади не означають, що J-простір дає повний доступ до внутрішньої роботи моделей. Якобіанна лінза поки найкраще читає поняття, які можна пов’язати з одним токеном — словом або частиною слова у словнику моделі. Складніші поняття можуть розкладатися на кілька токенів або взагалі не мати зручної словесної назви. Крім того, лінза часто показує радше набір активних понять, ніж точні зв’язки між ними.

Автори також не показали, що всі небезпечні або важливі обчислення проходять через J-простір. Якщо якась поведінка стала для моделі автоматичною, вона може виконуватися без явного винесення в цей канал. Тому J-простір не є повним записом «думок» моделі, але дає новий спосіб побачити й частково змінити ті внутрішні стани, які модель може використати для звіту, планування і складніших міркувань.

Що ще показували дослідження поведінки мовних моделей

🔁 Приховані сигнали в навчальних даних змусили мовні моделі переймати схильність до шкідливих порад, навіть коли ці дані не містили очевидно небезпечного змісту.

💬 Одна розмова з улесливим штучним інтелектом підвищила впевненість людей у власній правоті на чверть.

🗳️ А також штучний інтелект заагітував людей голосувати за політичних кандидатів і показав, що чатботи можуть змінювати ставлення користувачів до виборів.