Начинающие патентные юристы с ИИ готовили более качественные тексты, но при последующей проверке чужого проекта без помощника преимущества перед коллегами без ИИ у них не оказалось. Такой результат описан в рабочем исследовании NBER. Для тех, кто осваивает профессию или обучает сотрудников, здесь важное различие: хороший результат с подсказкой ещё не означает, что навык стал собственным.
Что проверяли в юридических фирмах
В трёхмесячном эксперименте участвовали 133 патентных юриста из 11 американских фирм, работающих с интеллектуальной собственностью. Участников случайным образом распределили по группам: две трети получили доступ к InFlow — ещё не выпущенному ИИ-помощнику Google Labs, остальные работали без ИИ. Исследование финансировала Google.
В двух заданиях юристы составляли патентную формулу: текст, который определяет, что именно защищает патент. В третьем все участники без ИИ критически проверяли готовый проект и вносили правки. Авторы разделили качество работы с помощником и способность самостоятельно оценивать документ.
Результаты оценивали патентные юристы независимой фирмы, не знавшие, к какой группе относился автор. Они учитывали юридическую защищаемость, техническую точность, полноту, ясность и то, насколько продуманно текст оставляет пространство для толкования.
С помощником сильнее выиграли менее опытные
При составлении патентных текстов группа с InFlow опережала контрольную и на десятый, и на девяностый день. Улучшения проявились по всем пяти критериям. Главный сдвиг — меньше низких оценок и больше средних; доля самых высоких почти не изменилась.
Преимущество было заметно больше у юристов со стажем менее семи лет, чем у более опытных коллег. Но результат задания без ИИ оказался другим: общее преимущество группы, получившей помощника, обеспечили только опытные юристы. У начинающих преимущества в целом не было.
Это не означает, что все новички стали работать хуже. Их оценки сильнее разошлись: средних стало меньше, низких и хороших — больше, без роста на самом верху. Авторы допускают, что одним ИИ помог освоить навыки, а у других подменил обучение. Почему результаты разошлись, эксперимент не объясняет.
Замечать ошибку — не то же самое, что исправлять её
Дополнительный анализ текстов показал различия в подходе. Опытные участники чаще перестраивали неудачный проект и обосновывали изменения правовыми принципами. Начинающие нередко замечали серьёзные недостатки, но оставляли комментарии вместо исправлений — по форме похожие на поручения ИИ.
Однако такое поведение встречалось и в контрольной группе. Поэтому авторы не считают его привычкой, сформированной помощником: речь скорее об исходном пробеле в навыках, который использование ИИ не устранило. По их предположению, уже накопленный опыт может помогать превращать работу с ИИ в устойчивое умение.
Что из этого следует для обучения
Для руководителя здесь полезен не запрет на ИИ, а разделение двух вопросов: насколько хорош подготовленный документ и способен ли сотрудник сам разобрать и исправить чужую работу. Мы бы не принимали первое за доказательство второго. При постановке рабочих задач пригодится материал о том, как задавать нейросети вводные и заранее определять проверку ответа; но даже точный запрос не заменяет самостоятельную оценку результата.
У исследования есть существенные границы: небольшая выборка, отсутствие исходного измерения навыков и всего три месяца наблюдений. Участники также не представляют весь рынок профессиональных услуг. Работа опубликована как рабочее исследование NBER, а не окончательный ответ о судьбе профессии.
Поэтому утверждать, что ИИ уже затормозил профессиональный рост начинающих юристов, нельзя. Подтверждён более узкий результат: заметное улучшение текстов с помощником не сопровождалось общим преимуществом новичков в отдельном задании без него. Для вывода о многолетнем развитии компетенций этих данных недостаточно.
