Пирамида AI, или разделение труда 2.0

Полагаю, почти всем знакома концепция пирамиды тестирования. Это когда количество тестов на разных уровнях сокращается от самых массовых юнит-тестов через умеренное количество автотестов к самым редким и дорогим е2е/интеграционным.

Недавно в общении коллег заметил логичное продолжение - "Пирамида ИИ". Это когда ты задачи в зависимости от сложности/стоимости/категории распределяешь по моделям/агентам с целью минимизации затрачиваемых токенов и специализации по навыкам.

Как сказал Юра, "через пару лет будем говорить что-то типа "Да у тебя просто в проекте не настроена нормально пирамида ИИ." ". Хотя мне кажется, что пары лет не пройдет, и про это надо думать уже сейчас. А лучше не просто думать, а автоматизировать.

Действительно, более простые модели не справятся со сложной задачей. А грузить всякую мелочь в самые мощные модели нерентабельно. Какие-то модели и агенты лучше себя показывают на одном типе задач, другие - на другом. Впрочем, все как у людей. Да и "тимлид" этих моделей/агентов (оркестратор) уже вполне ИИ-зирован.

А разработчик в этой ситуации становится уже не просто лидом, а руководителем рангом повыше. И ему нужно больше внимания уделять общей архитектуре, контролю качества, контексту, целям, метрикам, связям между целями и метриками. Даже если этот разработчик - джун (ну разве что масштаб проектов отличается).

Потому сейчас каждому разработчику, вне зависимости от уровня, надо переходить от мышления "я пишу код, чтобы писать код" к парадигме "я делаю проект, чтобы достичь цели и повлиять на метрику, которая важна бизнесу и пользователям". И вот это, на самом деле, неплохо. Мне всегда импонировали коллеги, которые делают не задачу ради задачи, а интересуются контекстом, целями, продуктом, бизнесом. Теперь только так.

Включатель

Способность человека фокусироваться мне порой напоминает тот самый выключатель (например, как у старых вентиляторов), когда при нажатии одной кнопки "отжимаются" все остальные. Вот прилетела важная темка - ты пошел ее копать - отжались все остальные. Вскоре прилетела новая - отжалась предыдущая. И пока кто-то снова ее не нажмет - ты к той темке не вернешься. С управлением командой похожая история - сфокусировал их на одном, они забили на другое. Ну потому что тяжело делать все и сразу. А попытка зажать все кнопки "аккордом" может привести к поломке вентилятора.

Можно было бы предположить, что с переходом на оркестрацию агентов, харнессы, прочие способы пустить работу в асинхрон - станет легче. Но и тут не все гладко. У человека начинает еще чаще свитчиться контекст, а общий объем контекста, пролетающий через голову в единицу времени, только растет. И общая когнитивная нагрузка - тоже.

Приходится учиться, как event-loop, эффективно переключаться между задачами, не блокироваться на вводе-выводе, возвращаться к недоделанному, чтобы оно не зависло. В этом помогает какая-то развитая личная система трекинга задач (от тудушки в заметках до ишью-трекера). А еще периодически процесс надо просто рестартить, сдампив перед этим стейт.

Пойду эвиктнусь на пару недель в отпуск, заспавнлюсь в сентябре с чистым ивент-лупом и будем молотить рутины дальше.