Эксперимент с начинающими разработчиками показал, что пользователи завершали задания не быстрее коллег без помощника, но хуже понимали использованные концепции и слабее справлялись с отладкой
Искусственный интеллект207:22
Исследование, представленное учеными Anthropic, продемонстрировало, что применение ИИ-помощников в обучении программированию может приводить к ухудшению качества усвоения материала у начинающих специалистов. Авторы описывают этот феномен как «never-skilling» — ситуацию, когда новичок не успевает развить полноценный навык, поскольку постоянно полагается на искусственный интеллект для выполнения ключевых этапов работы.
В рандомизированном контролируемом исследовании участвовали 52 в основном начинающих разработчика. Половине участников был предоставлен ИИ-помощник, после чего обе группы должны были изучить библиотеку Trio для Python, с которой они ранее не работали. Сразу после выполнения задания участникам предложили проверить понимание использованных ими концепций.
Группа, использовавшая ИИ, получила в среднем 50% правильных ответов, в то время как участники, работавшие самостоятельно, набрали 67%. Разница оказалась статистически значимой: вероятность случайного появления такого результата была оценена значением p=0,01. При этом ИИ-помощник почти не предоставил преимущества по скорости: пользователи с ним завершали задания примерно на 2 минуты быстрее, но эта разница не была статистически значимой.
Наибольший разрыв проявился в процессе отладки программ. Участники без ИИ чаще сталкивались с ошибками и были вынуждены самостоятельно искать причины и вносить исправления — процесс, который считается важной частью формирования навыка программирования. Пользователи помощника чаще избегали этих этапов, так как система сразу предлагала решения, не заставляя разбираться в причинах проблемы.
Похожую проблему указали авторы обзора в журнале Nature Medicine, подготовленного специалистами Медицинской школы Duke-NUS в сотрудничестве с учеными из Гарварда, Университетского колледжа Лондона и Королевского колледжа Лондона. Они обозначили риск для медицинского образования: если начинающие врачи слишком рано начнут полагаться на ИИ, то могут не развить необходимые навыки клинического мышления.
Исследователи также выделили отдельный риск — «mis-skilling», когда специалист принимает ошибочный ответ ИИ за достоверную информацию и фиксирует неверное знание.
При этом авторы подчеркивают, что прямых доказательств такого эффекта именно в медицинском обучении пока нет. Их выводы основываются на теориях обучения и ранних данных из других областей, включая эксперимент Anthropic. Они предлагают трехступенчатый подход: сначала формировать базовые навыки без ИИ, затем обучать правильно оценивать ответы системы и только после этого внедрять ИИ-инструменты под контролем наставников.
Исследование также показало, что результат зависит не только от самого использования ИИ, но и от способа взаимодействия с ним. Участники с лучшими результатами чаще задавали вопросы о принципах работы кода и просили объяснения, тогда как менее успешные пользователи полностью передавали задачи помощнику или использовали его исключительно для исправления ошибок. Авторы отмечают, что эксперимент имел ограничения: небольшую выборку, проверку знаний сразу после задания и использование обычного чат-помощника вместо более автономных ИИ-агентов. Тем не менее, они полагают, что влияние более мощных систем может оказаться еще более заметным.
Darth SaharaИсточники:the next webИскусственный интеллект2Искусственный интеллектAnthropicПрограммированиеАвтоматизация труда07:22
Источник