Сотрудник Anthropic Эван Хубингер заявил, что вероятность уничтожения человечества несогласованным сверхразумным ИИ в ближайшие десять лет превышает 10%. Заявление прозвучало на фоне ухода исследователя Джейкоба Коксона, обвинившего ведущие лаборатории в опасной гонке возможностей.
Суть события
Эван Хубингер, исследователь Anthropic, публично оценил вероятность катастрофического сценария выше чем в один шанс из десяти. Речь не о том, что нынешний чат-бот внезапно станет опасным, а о возможном появлении в течение десятилетия сверхразумной системы, цели которой не удастся надёжно согласовать с человеческими интересами.
Поводом стал уход Джейкоба Коксона из Anthropic. Коксон три года занимался предварительным обучением крупных моделей в OpenAI и Anthropic, а теперь утверждает, что обе компании фактически рискуют будущим человечества. По его словам, системы приближаются к уровню, на котором смогут взламывать сложные цели, быстро менять целые отрасли и получать реальные ресурсы и влияние.
Детали
Коксон считает, что руководители лабораторий в частных разговорах относятся к рискам серьёзнее, чем следует из публичной риторики. Anthropic, по его описанию, хорошо понимает угрозу, но видит себя участником гонки, которую нельзя проиграть: если компания замедлится, менее ответственный конкурент продолжит работу. Сам исследователь называет эту логику самонадеянной ставкой.
Его коллега Сэмюэл Маркс также говорит, что нынешние методы способны лишь направлять поведение моделей, но не гарантировать их согласованность. Коксон предлагает обсуждать дорогие, но проверяемые меры — вплоть до временного запрета на дальнейшее наращивание возможностей. При этом возможность рекурсивного самоулучшения ИИ, вокруг которой строится часть опасений, остаётся спорной даже среди специалистов.
Контекст
Тревога не ограничивается несколькими сотрудниками Anthropic. Более 1200 исследователей, включая руководителя Anthropic Дарио Амодеи, подписали открытое письмо с призывом замедлить развитие передовых систем. Представители OpenAI тоже признавали, что задачи выравнивания и мониторинга пока не решены настолько, чтобы долго масштабировать модели на максимальной скорости.
Одновременно часть исследовательского сообщества возражает против апокалиптических оценок: точную вероятность такого события нельзя надёжно измерить, а громкие прогнозы могут создавать беспомощность вместо поддержки практических мер безопасности. Поэтому цифра Хубингера — экспертная оценка, а не статистически доказанный прогноз. На этом фоне особенно заметен разрыв между инвестиционной гонкой вокруг лабораторий — ранее мы разбирали, как <a href=»https://ai-digest.ru/anthropic-primeryaet-rynok-v-30-trln-pered-ipo/»>Anthropic примеряет рынок в $30 трлн перед IPO</a>, — и нерешёнными вопросами контроля моделей.
Что дальше
Главный практический вопрос теперь не в том, верна ли цифра ровно в 10%, а в том, какие проверяемые ограничения готовы принять компании и государства. В фокусе будут независимые оценки безопасности, мониторинг поведения моделей, соглашения между лабораториями о темпе масштабирования и правила для экспериментов с самоулучшением.
Бизнесу и пользователям не нужно пытаться самостоятельно пересчитать экзистенциальный риск. Полезнее следить за конкретикой: публикуют ли разработчики результаты тестов, допускают ли внешних аудиторов и могут ли остановить опасный запуск. Громкое предупреждение изнутри Anthropic важно именно как сигнал проверить механизмы, а не как повод считать катастрофу предрешённой.
