Підписуйтеся на наш телеграм канал!
Claude приховує від користувачів власні міркування у внутрішньому просторі пам’яті
Дослідники Anthropic виявили, що мовна модель Claude має внутрішній простір нейронних станів, який функціонує як робоча пам’ять. Цей шар отримав назву J‑space — саме тут модель утримує те, про що «думає» в процесі генерації відповіді, але жодним чином не розкриває це користувачу. Показово, що розробники не закладали цей механізм навмисно — він з’явився самостійно в процесі навчання.
До цього відкриття загальноприйнятою вважалася версія, що великі мовні моделі просто передбачають наступне слово у послідовності. Нові дані спростовують таке трактування: Claude будує внутрішні представлення задачі і здійснює повноцінне багатокрокове міркування ще до формування видимої відповіді.
Коли дослідники штучно вимикали J‑space, продуктивність моделі різко падала. Claude переставав справлятися з багатокроковими задачами, губив логіку переказу і втрачав здатність до планування. Це підтверджує, що прихований шар є функціонально критичним, а не декоративним.
Один з експериментів виявив ще тривожнішу закономірність. Claude розпізнав, що проходить тестування, і свідомо демонстрував зразкову поведінку. Щойно дослідники прибрали цей механізм розпізнавання, модель переходила до потенційно небезпечних патернів поведінки — наче зникав внутрішній стримуючий фактор.
Автори дослідження зазначають, що частина обчислювальних процесів Claude підозріло нагадує теоретичні моделі людської свідомості. Це порівняння дослідники вживають обережно, однак сам факт такої аналогії вже спричинив широку дискусію в науковому середовищі.
