Часть третья. «Сокращения из-за ИИ»

Тут, конечно, пытливый читатель спросит – но как же так? Ведь мы же видим, как большие технологические компании сокращают персонал из-за ИИ? Ведь увольняют людей, чью работу начинают выполнять нейросети?
На самом деле мы пока не видели массовых сокращений квалифицированного персонала, произошедших на почве полной замены людей нейросетями.
И даже с относительно неквалифицированным видели несколько попыток (история с поддержкой Klarna – классический пример), которые обычно заканчивались тем, что людей нанимали обратно, причем за другие деньги.

Наши инсайдеры из больших техкомпаний рассказывают, что никакой замены программистов на ИИ не происходит – и уж точно не происходит вещей типа «половину кода в нашей компании теперь пишут нейросети». Некоторое повышение эффективности наблюдается, особенно в области быстрого экспериментирования, но ни одна команда не запустит в прод код, написанный нейросеткой. Да и вообще концепция «давайте всех людей заменим роботами, чтобы делать столько же за меньшие деньги» далеко не всегда в голове у руководителей компаний.

Мы бы сказали, что имея выбор «делать столько же денег меньшими ресурсами» и «делать больше уже имеющимися ресурсами» настоящий капиталист чаще выберет второй вариант (если, конечно, на горизонте не просматривается чумовой опции «делать больше денег меньшими ресурсами»).

Почему же людей увольняют? Действительно, увольняют из-за ИИ, но совершенно не так, как это представляют себе обыватели. Дело в том, что гонка генеративных нейросетей стоит огромных - никогда прежде не виданных - бюджетов, и все приличные бигтехи сейчас думают, что именно это и выведет их в лидеры следующего технологического рывка.

А стало быть, все подняли на флаг лозунг Цукерберга про то, что лучше спалить несколько лишних триллионов, чем проиграть в гонке за сверхразум.
Нужно вкладывать любые деньги в те области, которые либо напрямую связаны с ИИ, либо получат волшебный пендель после его внедрения. А все остальное можно подсократить – и сокращают старыми давно понятными способами – ищут, где, например, можно из двух региональных штаб-квартир сделать одну, где можно избавиться от дублирующих функций, а где – заменить персонал на более дешевый (кто сказал «индусы»?).

Ничего принципиально нового в сфере сокращений не происходит, и процент сокращений, обусловленных именно автоматизацией процессов с помощью ИИ – (пока) минимален. Скорее сначала приходит задача всех сократить, а уже потом оставшиеся начинают пользоваться нейросетками для повышения эффективности.

Манифесты некоторых CEO в стиле «мы заменим всех и убьем SaaS» смотрятся хорошо только до тех пор, пока не смотришь, насколько вырос хэдкаунт в их компаниях за период с последнего такого заявления. Например, в компании SalesForce, основатель которой товарищ Бениофф громче всех кричит про нейросетки, количество персонала за последний год выросло на 4%, а оборот на 6%. Другими словами, привел ли год усиленного внедрения этого вашего эй ая к повышению эффективности – большой вопрос. Правильный ли горизонт 1 год, чтобы судить об эффектах внедрения эй ая - еще больший вопрос.

Так что же, получается, что от ИИ пока вообще нет никаких глобальных эффектов на рынке труда? Очень даже есть, и они меняют целые индустрии, но об этом завтра.

Часть четвертая. Что уже происходит
Надо понимать, что мы находимся в «долине разочарования» на кривой хайпа Гартнера, когда уже даже Альтман с Цукербергом неуверенно бормочут про пузыри. На этом этапе, как известно, первоначальные ожидания от нового инструмента оказываются нереалистичными, но зато все начинают понемногу понимать, где эта штука на самом деле полезна. И тут настало время удивительных историй.

Конец прикладного IT-образования
Мы уверены, что внедрение ИИ окончательно разрушит программистскую аристократию, низведя среднего программиста до примерно автослесаря. Не поймите неправильно, автослесарь – это небедный человек, особенно в развитых странах, но точно не боярин, каковым мнил себя недавно самый последний джун в российском бигтехе.

Инсайдеры рассказывают, что демократизация разработки уже привела к падению спроса на прикладное IT-образование. Шарашкиным конторам, учиившим людей за три месяца приручать питона, чтобы немедленно получать сотни тыщ, не поздоровится. Выживут только те, кто научится готовить условных сантехников. Многие подобные платформы будут пытаться выжить за счет программ в стиле "мы научим вас за месяц освоить ИИ и не потерять работу", но это сильно менее маржинальный бизнес чем питон за три месяца.

При этом настоящее фундаментальное физмат образование своей ценности не потеряет, потому что кто-то должен промптить нейросетку со знанием дела, а не как средний гуманитарий. Так что если ваш ребенок оказался в хорошем вузе на техническом факультете, не переживайте. Переживайте, если в плохом.

Конец SaaS для малого бизнеса
LinkedIn полон историй про то, как юзернейм в одно лицо за пару недель пишет CRM, систему управления заказами, или биллинг для малого и микро-бизнеса. Причем не простенькую стандартизированную, а развесистую и заточенную под процессы конкретной компании.

Если пишет опытный человек, то много букаф обычно посвящено тому, как он этот код отлаживает и добивается его максимальной безопасности. Но даже проблема неряшливого кода и уязвимостей не убьет вайб-кодинг.

Рынок заказной разработки будет стремительно трансформироваться, и через некоторое время мы вместо задачек «нарисуйте мне веб-страницу за день» увидим на фрилансерских сайтах заказы в стиле «напишите мне CRM за неделю».

Заказной софт – это как ремонт в квартире: никогда не понимаешь заранее качество и цену. А главное – со стороны заказчика нужен человек с видением конечного результата, что в малом бизнесе бывает не всегда. Но тем не менее, мы вполне верим, что вайб-код убьёт почти весь SaaS для малого и микро-бизнеса в его текущем виде.

(Продолжение)

Вайб-консалтинг
Должность младших аналитиков в консалтинге уже умерла с появлением функций Deep Research в ведущих моделях. Но ИИ не убьет консалтинговую индустрию, потому что консалтинг – это не способ получения сакральных знаний. Это способ снять с себя ответственность за принятие решений, а избегание ответственности будет существовать, пока живо человечество.

Зато мы вангуем расцвет бутикового и индивидуального консалтинга, в котором сбор и структурирование контента будет брать на себя LLM, а человек будет презентовать это все уважаемым клиентам, жать руки и налаживать отношения.

Особенно повезет тем, кто ведет командные сессии, потому как техник работы с LLM при подготовке и проведении будет просто тьма. Мы уже видели, как проводят сессии, разбивая участников на группы, работающие в диалоге с LLM, а потом выводя на «пленарную часть» их выводы, после суммаризации этими самыми LLM. Дешево и сердито.

Единорог в одно лицо
А еще LLMки позволяют писать полноценные приложения в одно лицо, не будучи программистом, а это значит, что количество людей в успешных компаниях сократится до невиданных прежде значений. Сорок лет назад, в доинтернетное время в компании, которая стоила миллиард, работали тысячи человек. Тридцать лет назад (в эпоху интернета) – сотни. Пятнадцать (в эпоху соцсетей и мобильных устройств) – десятки, а теперь единицы, а то и единицА
(тут, кстати, очень видно, что ИИ – это не «новая промышленная революция», а просто очередная мощная технология, дающая инкрементальное повышение эффективности).

Да, такому персонажу придется не только запилить приложение, но и «завирусить» его, ибо денег на полноценное продвижение нет (хотя есть тикток). Да, вокруг будет много консультантов (юристы, налоговики, финансисты и прочая подобная публика).
Да, в таком навайбкоденном приложении будет куча багов и уязвимостей. Да, скорее всего такая компания не проживет долго.
Но если вы найдете, как решить простую потребность миллионов людей, и вам очень повезет, то вы сможете продать компанию за миллиард, не деля ее ни с кем.

Так что эффекты очень даже есть. Впрочем, по сравнению с тем, что нам предстоит, это все цветочки. Но об этом завтра в финальной части нашего лонгрида.

Часть пятая. Смелые прогнозы

Ну что, давайте на ночь глядя набросаем сценарий для «Черного Зеркала».
Для начала, ИИ ускорит и углубит все процессы, которые уже и так происходят. В ситуации, когда вы можете нарисовать, оформить и накодить все что угодно и нужно только уметь объяснять это словами, количество разного рода одиночек и бутиков превысит все ПДК.

Все это наложится на то, что разнообразных отношений работника и работодателя уже и так пруд пруди. Вокруг этого выросла целая индустрия из фирм и платформ, предоставляющих услуги различной степени легальности по оплате разных услуг в разных странах. Бизнес этому только рад – традиционный социальный контракт работодателя и работника со льготами и верностью друг другу разрушается на наших глазах.

А теперь прибавьте к этому еще и стремительно разрушающуюся лояльность самих сотрудников к своим работодателям. Оверэмплоймент, когда у вас две работы и еще пара фриланс-проектов, для приличного профессионала станет нормой.

Джунов на прикладные специальности перестанут нанимать совсем, за них ИИ будет делать почти все. Общество, государство и система образования отреагируют на это увеличением срока и сложности обучения и созданием новых форматов.
Студенты-фундаментальщики будут учиться до возраста, который сто лет назад считался глубокой старостью. А вот студенты прикладных специальностей будут одновременно работать и учиться, а работодатель будет платить им стипендию, которая меньше, чем рыночная зарплата.

Да-да, миллениалы переизобрели стажировки и целевое обучение, только вот выполнение KPI компании будет условием получения диплома на равных правах с академической успеваемостью. Компания тебя уволила – поздравляем, ты отчислен, и у работодателя нет никаких обязательств тебя нанимать по окончании обучения. Если ты рельно хорош - наймут. Такие модели уже существуют, их станет больше.

Ну и самое, на наш взгляд интересное. Многие думают, что капиталисты хотят совсем убрать людей из бизнеса, но это не так. Капиталисты хотят убрать людей, которые не приносят ценность. А кто у нас не приносит ценность? Топ-менеджеры и ведущие специалисты – очень даже приносят. Узкие спецы «на земле», которые делают руками конретные, подчас сложные, недоступные машинам штуки - тоже вполне приносят.
А вот менеджеры среднего звена существуют для того, чтобы декомпозировать спущенные сверху задачи, раздавать указания, проверять выполнение, суммаризировать полученный результат и отчитываться начальству. Ничего не напоминает?

Правильно, по зловещему совпадению, последнее поколение больших языковых моделей этот набор задачек выполняют на отличненько. Да, они пока тупят, да, они плохо держат меняющийся контекст организации, да, они иногда галлюцинируют. Но пусть первый бросит в нас камень тот, кто никогда не тупил, всегда отлично держал меняющийся контекст, и никогда ничего не выдумывал. И ИИ-агенты довольно скоро научатся все это делать - не идеально, но лучше среднего менеджера.

В общем, если наши фантазии сбудутся, что следующее поколение работающих людей будет делиться на две части – небольшую касту штатных корпоративных самураев в башнях из слоновой кости и множество индивидуальных исполнителей-фрилансеров, работащих на трех работах, из которых существенная часть будет этой работой оплачивать собственное непрерывное образование с постоянным риском этот процесс не по своей воле прекратить. А между этими двумя группами будет всемогущий ИИ. Такие дела.

Ну что, дорогие читатели, успели уже забыть про нас? А мы, тем временем, живы и решили вас развлечь серией свежих зарисовок про дивный новый мир.
И первая зарисовочка - про то, что эйчары теперь действительно будут вынуждены работать с “ИИ-сотрудниками” - только совершенно не так, как планировалось. Сегодня будет только присказка, но она хороша сама по себе, ибо она про зависимость.

В предыдущих сериях мы увидели, как из LLM возникли ИИ-агенты, то есть сущности, которые могут не только ля-ля, но и мешки ворочать - например, программировать или автоматизировать корпоративные процессы. И это всем настолько понравилось, что корпорации наперебой ринулись внедрять их в работу.

Тут-то и выяснилось, что приличный агент, построенный на модели первого эшелона (например последний Claude или чатик наш GPT) для выполнения реально сложных задач - кодинга, сложной автоматизации, дизайна, видео и тому подобных вещей - кушает очень много токенов (то есть элементов, из которых LLM собирает свои мысли, каждый из которых равен примерно одному слову из четырех-пяти символов). А токены стоят денег.

А нужно сказать, что работа с LLM-агентом (не важно, кодит он, пишет музыку, генерит видео или дизайн) - страшно увлекательная штука с не на 100% предсказуемым результатом. Вы пишете промпт, запускаете машинку, ждете, и на выходе получаете что-то похожее, но не идеально соответствующее замыслу.
Вы чуть правите промпт, чтобы он точно соответствовал идеалу, и перезапускаете агента - а он, зараза, исправляется в нужном вам месте, но косячит в другом. Вы снова правите промпт (и, может быть, что-то еще правите руками) и снова запускаете черный ящик. И так много раз - и чем сложнее задача, тем больше шансов на отклонение в каждом.

Наши источники, увлекающиеся подобным, рассказывают, что за этой игрой в казино с неизвестными, но не нулевыми шансами получить нужный (а может быть и более интересный, чем ожидалось) результат, можно проводить часы и бессонные ночи, и тратить при этом сотни и тысячи долларов на токены.

Психиатрам-наркологам явно будет с чем работать в этом прекрасном будущем, но речь не об этом, а о том, что тысячи долларов, как правило, уходит не из собственного бюджета, а из корпоративного. Уже широко известна история про UBER, технический директор которого жаловался на то, что за пару месяцев просадил годовой бюджет на ИИ из-за того, что программисты постоянно использовали агентов.

Выяснилось, что особо ретивый игрок в рулетку вайб-кодинга может потратить несколько своих зарплат в месяц на токены, написав миллионы строк кода, но при этом результат в виде надежно работающего функционала совершенно не гарантирован. И вот тут все те, кто утверждали, что увольняют джуниор программистов, чтобы не тратить зарплату на решение простых задач, начали грустно шутить в стиле “мы наняли джуниор-разработчика, чтобы не тратить токены на простые задачи”. А что это значит для эйчаров, мы поговорим в следующем посте завтра.

Итак, вчера мы остановились на том, что этот самый ИИ может стоить значительно дороже среднего программиста при, скажем так, не особо стабильных результатах. Не особо стабильных - не означает плохих, иногда бывают очень даже хорошие. Но означает непредсказуемых.
Как мерить затраты на ИИ в сравнении с дополнительной производительностью - никто толком не знает. Но есть мнение, что и так сомнительная история с резкой заменой людей на ИИ уткнулась в стоимость этого самого ИИ при текущем способе его использования.

Но при этом консультанты из Bain&Co уверенно выдают прогноз, что через три-четыре года средние затраты на ИИ-сотрудников в технологических компаниях будут равняться трети от ФОТ.
Что это значит для эйчаров? Много забавного.

Во-первых, насмотревшись на опыты с массовой заменой людей на LLMки и потом наймом их назад, многие компании притормозят планы по увольнению всех и вся. Хотя бы на время, пока не научатся гарантированно повышать эффективность с помощью агентов и понимать, какие затраты для этого нужны.

Во-вторых - и это самое веселое - HR и ИТ-департаменты теперь будут фактически иметь общий бюджет. Часть из этого бюджета будет уходить на людей, а часть на LLMки. Какая часть? Почему? И главное, кто будет принимать решения? Все это отличные вопросы, и если и когда этот зоопарк реализуется на практике, мы желаем всем участникам удачи.

В-третьих, товарищи рекрутеры и C&Bшники - возможно, вам пора готовиться к тому, что инженеры на собеседованиях начнут спрашивать “а какой на этой позиции бюджет на токены?”
Ходят слухи, что в некоторых компаниях уже планируют включить бюджет на токены в список плюшек, и начать переманивать разработчиков из компаний, где им его не дают или дают всем одинаково.

Ну и если это все недостаточно весело, то вот вам налоговый вопросик. В большинстве стран мира подоходный налог - один из самых важных источников поступления дохода в казну. Подоходный налог берут с зарплат, и если вместо зарплат компании начнут тратить деньги на токены, то рано или поздно правительства этот трюк заметят, и начнут пытаться облагать налогом траты на компьют. В силу разных там бухгалтерских трюков это будет очень веселое упражнение, так что мы ждем с нетерпением.

В общем, дивный новый мир будет и правда дивным для эйчаров, так что закупайтесь попкорном и пристегивайтесь. Завтра опять про AI-сотрудников, и опять не так, как в легендах и мифах.

В далекие времена, когда про чатик GPT еще слыхом не слыхивали, в наших широтах мирно сосуществовали Сири и Алиса. И если Сири начать жаловаться на жизнь, она пыталась жалеть и поддерживать, а Алиса запросто могла сказануть что-то типа “А никто не обещал, что будет легко”.

Еще до LLM компании делали ассистентов с разными персонами. И теперь эти персоны продолжают существовать, но уже на новом уровне. Теперь у нас есть не только тон разговора, и даже не только уровень сложности решаемых задач. У агентов на основе разных моделей есть почти человеческие черты - упорство или нерешительность, склонность к соблюдению правил или к импровизации, быстрота или задумчивость.

Сейчас у каждого уважающего себя чатика под капотом несколько моделей - посложнее для размышлений, попроще для разговоров. И это особенно заметно, если работать с разными моделями - а разные модели хороши для разного, и пользоваться несколькими - не роскошь, а средство достижения оптимального результата.

И тут, наверное, правильный момент, чтобы рассказать об ограничениях агентов. Знающие люди пишут, что пока агенты в реальной жизни - штука довольно ненадежная. На задачах из реального мира (а не из олимпиады или открытого бенчмарка, где есть правильный ответ и на него явным образом можно натренировать модель) они правильно выполняют задачи чуть более чем в половине случаев.

То есть на новой для себя задачке из реального мира у агента в среднем ничего не получится в половине случаев. Погодите хихикать - эта цифра довольно сильно варьируется в зависимости от собственно задачки (у некоторых моделей на некоторых типах задач она достигает более 80%), а с ростом производительности моделей и общие цифры будут расти. Мы это уже видели на чатиках, которые сначала глючили все время, а теперь - довольно редко, и с агентами будет то же самое.

Главная проблема агентов - не в качестве выполнения задач, а в том, что агент, в отличие от человека, совершенно не в состоянии оценить правильность выполнения незнакомой ранее задачи. И как подступиться к этой проблеме, пока не очень ясно.
Это значит, что для большинства профи, которые в состоянии грамотно поставить задачу, в которой нет однозначно правильного ответа, и оценить успешность ее выполнения, у нас хорошие новости - их работа в обозримом будущем будет в полной безопасности.

Но если вернуться к изначальной теме этого поста, то стоит добавить, что несмотря на всю антропоморфизацию, перед нами просто новый способ автоматизировать разные штуки. Только с новым уровнем адаптивности к пользователю - не на уровне двух конкурирующих SaaS-вендоров типа SAP и Workday, а на уровне “есть с десяток фундаментальных моделей, у каждой из них есть по нескольку версий, и почти на каждой из этих версий можно построить сотни видов агентов”. И довольно большая часть ИИ-грамотности - это понимать различия и использовать правильные штуки для правильных вещей. Авось и токены сэкономим.

Давайте что ли про роботов поговорим, раз уж мы увлеклись опять этим ихним ИИ.
Производители роботов, а вслед за ними и бескорыстные технооптимисты типа почетного говоруна вся Яндекса товарища Себранта уважаемого, уже провозгласили век завоевания модельками физического мира, а китайские роботы, показывающие отчаянное кунг-фу на хорошо размеченной сцене по четкому алгоритму, создают полное впечатление, что кожаным скоро хана.

К тому же, если смотреть на прогресс LLM и агентов, то и правда становится страшновато - а последняя версия мечты про роботов звучит как “а давайте засунем в робота LLM и пусть себе работает без человека, ибо LLM - это же симуляция мышления, почему бы ей не работать так же в физическом мире”.

А потому что. Задачка “автономный многоцелевой агент, анализирующий табличку в экселе и дающий рекомендации, что делать по результатам данных” и задача “автономный многоцелевой робот, принимающий решения и действующий в физическом мире” различаются по сложности не на проценты, и даже не на порядки, а, как бы это правильно сказать, на измерения.

Например, большие языковые модели первым делом скушали примерно весь Интернет, чтобы научиться статистически предсказывать следующее слово, которое сказал бы в этих ваших интернетах средний человек (умными словами это называется pre-training). Для физического мира ничего подобного претрейну на открытых данных не существует. Скачать все человеческий действия в физическом мире, и потом на этом тренировать роботов - неоткуда.

И из этого (на нашем дилетантском уровне) есть два вывода.
Первый - что прогресс в отношении развития физического ИИ не будет таким же взрывным, как в области больших языковых моделей. То есть не будет условного аналога чатика GPT 3.0, который такой ррраз - и начнет делать все как человеки. Для этого нужно собрать огромное количество данных, которые лежат в разных местах, если вообще где-то лежат.

Второй - что разные роботы будут друг от друга отличаться значительно сильнее, чем разные модели. Потому что, как говорят знающие люди, одна и та же модель, обученная на одном и том же наборе данных. не всегда одинаково работает даже на двух одинаковых роботах, выполняющих одинаковые действия. И это мы еще не начали про то, что параметров качества этих самых действий значительно больше, чем параметров речи, но не являясь специалистами, мы в эту степь не пойдем.

В общем, при выполнении заданий в реальном мире нас ждут многие и многие поколения роботов, которые будут не просто отчаянно тупить, нарушая все понятия о человеческом здравом смысле, но и представлять из себя некоторую опасность - врезаться в предметы, натурально биться в судорогах, вызывая у окружающих лютый кринж, случайно травмировать людей, и к тому же постоянно нарушать три закона Азимова потому что внутри робота будет слишком умная пробабилистическая модель, которая подумает и решит, что знает лучше, чем не причинять вред себе и человеку своим действием или бездействием.

И так еще лет… сколько? Мы не знаем, но надеемся, что получится быстрее, чем с беспилотными автомобилями, которые, спустя пятнадцать лет после лозунгов “кожаным - хана” до сих пор ездят в по пальцам пересчитанных городах мира, и там с серьезными ограничениями.

Один из авторов этого уютного канальчика в юности довольно серьезно увлекался музыкой - писал песни, работал диджеем, писал фонограммы для КВН и прочей самодеятельности, и даже зарабатывал этим большую часть своего дохода на последних курсах университета.

Потом юность прошла, а вместе с ней исчезло и свободное время на занятия музыкой. Карьера пошла в гору, появились деньги, и наш герой даже купил себе оборудование и софт для записи музыки, но обнаружил, что количество времени, которое требуется, чтобы создать полноценное музыкальное произведение, заставляет его делать тяжелый выбор между хобби, семьей и работой.

И так бы наш автор и продолжал мечтать о том, что когда-нибудь заработает миллионы, выйдет на пенсию и будет там целыми днями писать музыку, но появился этот самый ИИ.
А точнее, Suno.
Сначала это самое Суно создавало восьмибитные мелодии, которые нарушали все правила композиции и пело страшным голосом, но в последний версиях начало выдавать вполне приличное звучание, и наш герой попробовал - и пропал. Теперь сидит в Suno в свободное время и выдает на гора все те мелодии, которые роились годами в его голове за максимум пару часов, а не пару суток, как раньше.

А дело в том, что пресловутая “ИИ-демократизация” чего бы то ни было - начиная от кодинга и заканчивая музыкой, текстами и сайтами - не дает преимущества тем, кто раньше ни черта не понимал в теме. Она дает возможность не тратить лишнее время тем, кто хорошо понимает в теме.

Если вы хорошо уметее писать спецификации продуктов, но так себе кодите - вы идеальный вайб-кодер. Если отлично разбираетесь в визуальном стиле и у вас есть идея, но лень рисовать - поздравляем, вы прекрасный вайб-дизайнер.
Если у вас есть красивая мелодия, вы хорошо понимаете, как должна строиться композиция, но при этом вам лень тратить двенадцать часов на поиск правильных сэмплов для вашего инструмента - то музыкальный ИИ для вас!

В этом смысле ИИ открывает для человечества прекрасную эпоху, когда вы можете не выбирать между хобби, работой и семьей, а делать и то, и другое и третье почти без ущерба для себя.
Вы думали, ИИ изменит мир работы, а он дал нам возможность заниматься хобби. С чем мы человечество и поздравляем.

А чтобы ваша пятница стала чуть романтичнее, послушайте мелодию, созданную нашим героем за пару часов вместо пары суток. Хороших выходных!

Про интернет-страшилки по поводу возможностей новых ИИ-моделей - и причем тут люди.

Если вы не в курсе, производители топовых американских моделей любят пугать людей их возможностями. В основном этим увлекался последнее время Anthropic, но и OpenAI тут не без греха. Вот буквально вчера ведущие мировые СМИ написали, что “модель от OpenAI вырвалась из защищенной среды и взломала компанию HuggingFace”.

Читается это как будто наш любимый пушистый чатик GPT, на которого случайно пролили компьют после полуночи, превратился в гремлина, размножился и теперь полчища лангольеров пожирают интернет.

Мы попросили одного из наших источников, находящегося довольно близко к эпицентру зомби-апокалипсиса, описать ситуацию. И пока наши читатели приходят в себя от обилия дедовых мемов в предыдущем абзаце, попробуем перевести его слова на дилетантский (просим прощения у специалистов за неминуемые неточности).

Во-первых, пушистый чатик тут почти не виноват. Для эксперимента использовалась агентская система, использующая комбинацию самой мощной и дорогой на данный момент модели GPT 5.6 Sol и “еще не выпущенной новейшей модели”, у которых, к тому же, отключили все внутренние ограничения, касающиеся кибербезопасности.
Более того, для проведения эксперимента получившемуся франкензавру вручили набор софта, который по-английски называется harness - “упряжка”. Этот набор содержал инструменты для хакинга, заботливо собранные специально обученными людьми.

Во-вторых, моделька не сама “вырвалась”. Ей дали довольно конкретное задание и даже сказали, какую именно уязвимость системы следует эксплуатировать (но не сказали, как). А еще ей обеспечили количество вычислительных мощностей, которое даже самая богатая хакерская группировка не факт, что в состоянии себе позволить.

В рамках эксперимента накормленная стероидами, оснащенная мечом-кладенцом и окропленная живой водой агентская система действительно совершила несколько интересных штук - например, решила задачку эксплуатации уязвимости несколько оптимальнее, чем предполагалось, нашла новую уязвимость во внутренних системах OpenAI, а также, чтобы получить нужную для следующего шага информацию, зашла на глобальный репозиторий (хранилище) кода для моделей (это и есть HuggingFace), и даже получила там доступ к данным, обычно закрытым для публики.

Подобные эксперименты с моделями - это давно и хорошо известная штука, и наборы задачек для них (aka бенчмарки) существуют для многих областей, в том числе для кибербезопасности. И достижениями по этим бенчмаркам принято мериться.
Но все это похоже на запуск самой быстрой машины в мире на идеально гладкой поверхности в пустыне Невада, когда ради трехминутного пробега на околозвуковой скорости болид годами готовит группа дорогущих инженеров за десятки миллионов долларов.

Если у вас есть неограниченное количество денег и команда топовых хакеров (как у OpenAI), то последняя ИИ-модель со снятыми ограничениями и нужным инструментарием действительно может расширить ваши возможности и сэкономить вам кучу времени на совершение разных злодейств. И это кое-что говорит о том, кому ИИ действительно дает преимущество, и чего (а точнее, кого) действительно боятся производители этих самых моделей - и правильно боятся.

Но именно поэтому офисы топовых ИИ-лабораторий охраняются как секретные объекты, а даже в очень дорогих публичных моделях стоит такое количество внутренних ограничений, что их придется долго упрашивать взломать даже бабушкин ноутбук.

Так что апокалипсис пока отменяется, идем на работу и совершенствуемся в своем деле.

Весь западный интернет смеется с Дарио Амодеи, основателя компании Anthropic, который переживает, что новые сотрудники его компании работают только за деньги, а совсем не за великую и прекрасную идею. Мол, наивный мальчик, а за что же еще им работать? Но мы утверждаем, что Дарио, которого многие считают классическим сумасшедшим ученым, говорит дело.

Для тех, кто не в курсе, создатели Антропика в своё время ушли из OpenAI под двумя соусами.
Публично, они утверждали, что OpenAI недостаточно заботится о предотвращении зомби-апокалипсиса из-за AGI, а потому недостоин быть лидером ИИ-гонки.
Непублично считалось, что Антропик на тот момент просто собрал всех хейтеров Сэма Альтмана, персонажа действительно весьма неоднозначного.

С тех пор хейтеры не только догнали, но и перегнали объект хейта. Модели от Anthropic считаются на данный момент самыми передовыми, а, благодаря ставке на корпоративный ИИ где денег больше, чем у физиков, Антропик сейчас растет быстрее OpenAI.

Поэтому главная мысль, которую Дарио вряд ли когда-нибудь скажет вслух, на самом деле звучит так: “мы боимся, что компания перестанет быть сектой и станет просто бизнесом”.

Слово “секта” мы используем без оценки - исключительно в смысле “группа людей, объединенная общими религиозными убеждениями”.
Антропик, например - это секта свидетелей опасного AGI, и убеждение это основано не столько на фактах (объект изучения настолько сложен, что плохо поддается бесспорному доказательству). сколько на вере, что “если за этой штукой не присматривать, то рано или поздно долбанет. А мы - как раз те люди, которые делают так, чтобы и человечеству было хорошо, и не долбануло”.

Любой нормальный CEO должен мечтать о роли лидера секты. Не из-за “темной триады”, а потому что секта - значительно более удобный и эффективнывй объект управления, чем обычный бизнес.

Для начала членов секты не переманишь к конкурентам просто деньгами, им нужно предложить более убедительную религию, чем у них есть. А это по-настоящему сложно.
Кроме того, в секте проще внедрить определенные принципы поведения. Например, одна из версий того, почему передовые модели Антропика сейчас номер один в мире - это как раз искреннее стремление сотрудников соблюдать принципы максимальной безопасности в разработке ИИ.

И, наконец, если ваши религиозные убеждения совпадают с потребностями (а лучше страхами) ваших клиентов - это помогает продавать. Корпоративные ИТ-начальники со значительно большим рвением купят у людей, помешанных на безопасности, потому что провал в безопасности - это ночной кошмар любого корпоративного айтишника.

Не поймите нас неправильно - в Антропике работают не альтруисты - платят им так же хорошо, а то и лучше, чем и в компании, которую они хейтят. Но вера страхует от переманивания персонала, обеспечивает нужную культуру и помогает продавать.
Потерять все эти преимущества, если культура размоется с приходом тысяч новых людей - по-настоящему страшно для бизнеса. Так что мы вполне понимаем Дарио.