Останнє оновлення Claude Code призвело до того, що він став "менш розумним" і "більш неактивним".

Дмитро Джугалик, журналіст видання "Межа". Мої статті присвячені темам, які мене особисто цікавлять — технологіям, відеоіграм і кіномистецтву.

Стелла Лауренцо, очільниця команди з штучного інтелекту в AMD, висловила негативну оцінку нової версії агента для програмування на основі штучного інтелекту Claude Code від Anthropic. Вона зазначила, що він став "менш активним" і "менш розумним", повідомляє видання The Register.

У своєму повідомленні на GitHub вона зазначає, що нещодавнє оновлення агента зробило Claude Code ненадійним для вирішення складних інженерних задач. Таку ж думку висловили її колеги, а також багато користувачів, які висловлюють свої скарги на агента в Reddit та інших соціальних мережах.

Лоренцо та її команда провели детальний аналіз 6852 сеансів Claude Code, які охоплювали 234 760 викликів інструментів і 17 871 блок роздумів. Вони виявили, що до 8 березня не було зафіксовано жодного випадку порушення stop-hook, проте до кінця місяця такі випадки почали реєструватися в середньому по 10 на день. Stop-hook є важливим індикатором, що допомагає виявити спроби агента уникнути відповідальності за код, передчасно завершити роздуми або надмірно запитувати дозволи.

Крім того, Claude Code став рідше переглядати код перед внесенням змін - якщо раніше це траплялося частіше, то наприкінці місяця значно рідше. Водночас він почав частіше повністю переписувати файли замість внесення невеликих правок.

Ці результати вказують на те, що Claude Code перестав мислити настільки глибоко, як раніше. Такі погіршення збігаються з впровадженням механізму redaction у версії 2.1.69, що приховує контент роздумів, через що користувачі перестають бачити, що насправді робить штучний інтелект. Лоренцо також відзначає загальне зниження рівня мислення.

Коли розуміння є поверхневим, стандартна модель обирає найбільш дешеві варіанти дій: вносити зміни, не ознайомившись з матеріалом, зупинятися, не завершивши розпочате, уникати відповідальності за невдачі, обирати легкі рішення замість вірних. Саме ці ознаки можна спостерігати, -- йдеться в повідомленні на GitHub.

Лоренцо зазначає, що на даний момент її команда вирішила перейти до нового постачальника, який забезпечує кращу якість. Проте поки що вони не готові повністю відмовитися від Claude Code, оскільки той показував себе з найкращого боку раніше. У той же час вона підкреслює, що Anthropic ризикує втратити свої позиції на ринку, якщо ситуація не зміниться.

Читайте також: У Claude Code відбувся витік, в результаті якого було розкрито 500 000 рядків коду, що містять інформацію про майбутні можливості.