На сколько % Copilot увеличит производительность программистов?

Copilot помогает писать код программистам, и такая автоматизация кажется полезной для снижения издержек/времени работы. Хотелось бы проверить, как меняется производительность при подобном подходе.

Авторы статьи (февраль 2023) сделали эксперимент. Наняв 95 программистов, они разбили их случайным образом на две группы, одной из которых предоставили платный доступ к Copilot, а другой нет. Результат работы над задачей вроде бы впечатляет: время выполнения для людей с Copilot снизилось на 55%.

Проблемы:
1) Copilot может быть доступен всем участникам. Он платный, но если люди пишут open source код, Copilot может оказаться для них бесплатным.
2) (Серьёзное) "Мы также обнаруживаем, что успех в завершении задачи [разумно исполняемый код] у группы с Copilot выше на 7%, но эта оценка не является статистически значимой".

Выводы: скорость растёт - потому что куски кода можно копировать быстрее и автоматически. Но если при этом задача решается в незначимо большем проценте случаев, насколько это хороший результат? Кажется, что требуется больше экспериментов - в крупных компаниях Copilot очевидно полезен, а вот в небольших проверить бы.

#Copilot #ML #Productivity