Про AI-ускорение рутины опытных разработчиков, которого... НЕТ!
TLDR: на днях вышло исследование (pdf), которое дало такие выводы: опытные разработчики считают, что AI инстументы (cursor/claude) ускоряют их работу на 20%. А на самом деле ЗАМЕДЛЯЮТ на 20%.
1️⃣ Сразу скажу, что исследование сделано круто, никаких вопросов к его дизайну у меня нет. Каждый может оценить сам.
И считаю выводы работы истиной на сегодняшний день. В частности про опытных (т.е. дорогих) разработчиков. Контраргументом может быть только другое, более крутое исследование. И точно не личный опыт или мнение в комментах 🙂
Самое интересное обсуждение работы - на hackernews конечно.
2️⃣ Любопытно, что в исследовании сами разработчики оценивали прирост скорости в 20%, а неразработчики - в ~40%. Такой расклад во многих сферах. Например в нашем опросе "когда будет налоговый AI супер агент" можно оценить, как много людей никогда сами не сдавали декларации 🙂
Более серьезный вывод: прежде чем делать суждения об AI-автоматизации задач, нужно ОЧЕНЬ хорошо разбираться в этих конкретных задачах. В идеале регулярно иметь их в рутине.
Иначе получится очередной пук, как в сми. Или "типа работает" вместо "работает" (пост).
3️⃣ Для меня стало сюрпризом, что ожидания самих разработчиков ПОЛНОСТЬЮ расходятся с реальностью (думали, что экономят 20% времени, а на деле тратят на 20% больше).
Разработчики меньше пишут код руками, но больше проверяют, правят и ждут - отсюда и замедление.
Конечно нужны такие исследования и по другим профессиям. Хотя интуитивно кажется, что все будет еще хуже.
4️⃣ AI лучше справляется в малознакомых задачах. Это довольно очевидно: проблему чистого листа AI решает хорошо. А разработчикам во многом заменил stackoverflow.
Короче чем опытнее специалист, тем менее полезным будут для него genAI инструменты. Более того - AI в какой-то момент может быть вреден! Исследование это явно показало.
Ну и чем сложнее проект, тем менее полезен AI. Что тоже очевидно.
5️⃣ Короче говоря, сегодня у нас есть факты, что AI делает многих из нас не более, а менее продуктивными!
Совсем другой вопрос - если с AI работать становится интереснее, то можно и пожертвовать эффективностью ради удовольствия от работы! Только как это измерить? 🙂