Ник Каммарата, один из авторов гипотезы суперпозиции, утверждает: многие нейроны больших моделей могут быть понятнее, чем считалось. По его новой статье, часть знаменитых примеров «смешанных» нейронов объясняется не хранением несвязанных понятий в одном месте, а обычным распознаванием общей формы. Но Нил Нанда из Google DeepMind считает выводы полезным инструментом, а не близким решением всей задачи.
Суть события
В эссе Neural Networks Are Already Clean Каммарата пересматривает идею, которую сам помог развить. Механистическая интерпретируемость пытается проследить, как модель приходит к ответу внутри, а не только оценить результат снаружи. Долгое время исследователи видели там клубок: один искусственный нейрон, казалось, реагировал на совершенно разные вещи.
Классический пример — нейрон модели InceptionV1, который срабатывал и на лица кошек, и на передние части автомобилей. Каммарата теперь читает этот сигнал иначе: нейрон может распознавать общую V-образную форму. Острые контуры, например морда лисы или языки пламени, усиливают активацию, а округлые формы, вроде буквы O, тянут её вниз. Это другая интерпретация старого наблюдения, а не независимо подтверждённый окончательный ответ.
Что именно переосмыслили
Суперпозиция — это объяснение, согласно которому сеть с небольшим числом нейронов упаковывает в них несколько редко пересекающихся понятий. Поэтому лаборатории нередко обучают дополнительную разреженную автоэнкодерную модель, чтобы разделить эти сигналы. Каммарата считает, что часть прежних выводов была искажена слабым анализом и устаревшей архитектурой.
Он также по-новому трактует схему из своей работы Zoom In: автомобиль, который будто бы прятался среди нейронов, связанных с собаками, может быть примером обычного обобщения. Модель группировала изображения по направлению, в котором объекты повернуты к камере. Для языковых моделей Каммарата приводит предварительные оценки: в Qwen3-32B около 90% полюсов нейронов имеют одну основную функцию, примерно 7% — две связанные, а 2–4% пока остаются необъяснёнными. Goodfire сообщает о похожих результатах для моделей вплоть до триллионов параметров, но техническая сопроводительная статья ещё не выпущена.
Отдельная идея Каммараты — «рекурсивное обобщение». Нейрон может расширять исходный шаблон ветвями: сигнал, связанный с последовательностью букв «iy», затем появляется в «diy» и в выражении «do it yourself», хотя последняя фраза уже не содержит исходную последовательность. Такая связь, по его мнению, может быть содержательной, а не случайным смешением понятий.
Почему исследователи не согласны
Сторонники более смелой трактовки видят в ней шанс ускорить проверку моделей. Каммарата пишет, что автоматизированные агенты уже помогали анализировать нейроны в большом масштабе: месяцы такой работы могут заменить почти десятилетие работы людей с моделями для изображений. Если внутренние механизмы станут читаемее, исследователи смогут точнее искать обманное или опасное поведение и исправлять отдельные участки модели.
Рун из OpenAI написал, что работа может войти в историю, но сам добавил, что результаты должны подтвердить другие специалисты. Нанда настроен заметно осторожнее. Он считает нейронный анализ удобным способом разбирать практические вопросы — например, почему модель дала сомнительный ответ, — однако не верит, что интерпретируемость почти полностью решена. Нанда по-прежнему считает суперпозицию реальной, указывает на слабые сигналы и сомневается, что выводы из небольших моделей для изображений напрямую переносятся на языковые модели.
Спор частично упирается в определения. Каммарата не отрицает, что модель может представлять больше понятий, чем у неё есть измерений; он спорит с тезисом о случайной упаковке совершенно несвязанных вещей. Кроме того, Goodfire — компания в области интерпретируемости, поэтому у её тезиса есть очевидный профессиональный интерес.
Что дальше
Сейчас это сильная переоценка известных примеров, а не установленный перелом всей области. Следующий важный шаг — независимая проверка результатов и публикация технической работы. Для людей, которые используют ИИ в работе, практический вывод пока скромнее: красивое объяснение отдельного нейрона ещё не доказывает, что модель в целом стала прозрачной или безопасной.
Для понимания соседнего вопроса — как автоматизированные агенты справляются с длинными исследовательскими задачами и почему им иногда помогает сброс контекста — пригодится разбор эксперимента со сбросом истории чата у ИИ-агентов.
