Произошел очередной отвал жепы башки на поприще ИИ-ассистентов!

Даем на входе видео с ютуба, скриншот из дискорда, и говорим: я вот дошел до этого шага на видео, покажи на скриншоте, куда мне кликать дальше.

Агенты ищут в видео кусок, описанный юзером, смотрят, что идет дальше, ищут нужный кусок скриншота.

Какой простор для оптимизации техподдержки, 99% работы которой сводится к совместному чтению уже существующих мануалов вместе с юзером.

Hold on to your jobs papers, what a time to be alive intensifies

Магия, да и только!

paper
tweet

🌝 скучно дома? устал на работе?
самое время посмотреть наш новый подкаст с Димой @Matskevich про адаптацию к AI! :)

https://youtu.be/PjIwLdbl2xA

скоро будет еще про детей.

делитесь ощущениями после просмотра 🤍

@aihappens

Как я писал ранее, за последние недели команда OpenAI посетила 25 городов на 6 континентах. Цель поездки - поговорить с пользователями, разработчиками, политиками и общественностью, чтобы узнать, что для них важно в развитии и применении искусственного интеллекта.


Что они вынесли из этих бесед:
— Пользователи и разработчики уже сейчас создают полезные приложения с помощью инструментов OpenAI. Применение инструментов варьируется от поддержки образования в Нигерии до улучшения общественных услуг в Сингапуре и сокращения потерь пищи во Франции.
— Все надеются, что AI сможет улучшить доступ к индивидуальному образованию и здравоохранению, и увеличить экономический рост. Однако есть и опасения связанные с дезинформацией, экономическими изменениями, а также безопасностью и рисками от все более мощных моделей.
— Главное, что радует команду OpenAI — это что политики активно вовлечены в вопросы AI и стараются гарантировать безопасное и полезное использование текущих инструментов. Они хотят максимизировать пользу от AI, управляя его рисками, и поддерживают идею создания глобального фреймворка для управления будущими системами.
— Люди хотят знать больше об основных ценностях OpenAI. В статье дается большое количество ссылок на основные политики и принципы компании (1, 2, 3), включая политику не обучаться на данных клиентов API, фокус на создании механизмов безопасности и исследовании способностей систем.


На основе полученных отзывов, OpenAI будет фокусироваться на:
— увеличении пользы и доступности своих продуктов. Это включает в себя как обучение моделей "нюансам" различных индивидуальных потребностей и глобальных культуры, улучшение качества работы на языках, отличных от английского, и пересмотр ценовой политики.
— дальнейшем развитии практик управления и контроля foundation models (что это такое я писал тут), которые могут стать "умнее" людей со временем. Сюда входит тестирование и улучшение конкретных практик контроля, оценку безопасности до внедрения моделей. OpenAI также продолжит вкладывать ресурсы в подходы, основанные на общественном мнении (они недавно запустили фонд), и поддержку международных исследовательских групп.
— работе над раскрытием преимуществ AI, в том числе распространению знаний в области AI среди обычных людей (не технарей), помощи разработчикам в получении выгоды от новых технологий, предоставлении поддержки организациям, исследующим использование инструментов OpenAI, и проведении исследований социальных и экономических последствий создаваемых ими систем (Sam Altman как-то обмолвился, что сейчас компания инвестирует в самое масштабное и дорогое исследование по безусловному базовому доходу. Если всё будут делать машины — то как и зачем жить нам?).

важные новости от компании open.ai:

1) web browsing у модели временно забрали, так как она читала платный контент.
(я честно так не нашел регулярных кейсов применения у себя веб браузинга).
Саму функцию скоро вернут.

2) на следующей неделе добавят интерпретатор кода. (модель сама себе код написала и сама его запустила). Фича оч крутая, на альфа тестах результаты были супер, даже если не дорабатывали будет работать круто. Напишу отдельно про кейсы.

3) API gpt4 теперь у всех. Ждём когда она станет дешевле хотя бы в 10 раз и будет совсем хорошо.

в целом ребята двигаются прям по своему роад мэпу, приятно.

@aihappens

GPT-4 научилась выполнять код внутри себя. На первый взгляд, может показаться, что в этом нет ничего важного. Однако после 3-х дней исследований, я делюсь своими наблюдениями 🙂

1) В общем, задача запуска кода - это основное препятствие для непрограммистов, которые хотят создать что-то свое. Как бы в этом месте проходит водораздел между теми, кто может запустить среду разработки (или хотя бы командную строку). При этом эта граница начинает стираться.
2) Режим, в котором работает интерпретатор кода, сильно отличается от обычной модели. Возможно, это даже отдельная модель с сложной инструкцией. Она задает вопросы и общается только на английском языке. Круто!
3) Весь код, который написала модель, можно скопировать и запустить.
4) Главная задача для улучшения - это этап понимания данных. У модели условно 3 фазы: понимание данных, написание кода и построение графиков. Ей нужен удобный формат на первом этапе, далее она сама пишет и исправляет код, а графики рисует безупречно.

Возможно, вы скажете: а кому вообще нужно в обычной жизни писать код? И тут самое интересное. Живя в парадигме, что у меня есть аналитик, который может делать все, что угодно, задачи резко появились! Я отдал ему анализ своих личных финансов, с его помощью сделал аналитику на курсе, решил рабочую задачу прогнозирования лактации и начал создавать инструмент, который будет создавать FAQ для любого сообщества (находить топ-20 вопрос-ответ и затем самостоятельно отвечать на них).

Оказалось, данных масса, просто обрабатывать их было невыносимо трудно. (кстати строить статистики по группам и канал очень весело, только если вы захотите скачать данные вам нужна винда или андроид версия тг)

Как говорит наш индийский друг - what a time to be alive!

@aihappens

🟪 шансик поработать вместе!

В Dbrain ищем главу разработки. В команде: два back-разработчика, front-разработчик, DevOps, QA.
Будем много работать вместе.

Вакансия здесь: https://dbrain.notion.site/Head-of-development-8f910aff24c044df8d4c08d121b4f2dc

По вопросам можно обращаться сюда: @Ahahun

Чеклист для проверки, подходишь ли ты:
1) У тебя есть опыт управления командой из 3-5 человек+.
2) Знаешь, как решать задачи с ограниченными ресурсами.
3) Считаешь, что генеративные сети - это охрененно 🌝
4) Идеально, если у тебя есть опыт работы с ML-командами.
5) Ты отлично владеешь английским языком и тебе комфортно на нем общаться.

Что произошло в мире генеративных сетей — все понятно и кратко:

1. Интернет решил, что GPT4 стала "тупее". На эти слова немедленно появились возгласы "ВОТ ДА! РАААНЬШЕ!". Однако тесты быстро доказали обратное. По некоторым направлениям модель даже стала чуть умнее, а значимого ухудшения не произошло. Может, тупеет интернет?) Или пристрастие к теории заговоров.

2. Выпущена модель Claude 2 от Anthropic — потенциального конкурента OpenAI. Создатели уделили внимание интерфейсу, но на мой взгляд, она заметно уступает GPT4. Кроме того, пока запущена только в США.

3. Facebook выпустил опенсорс модель LLAMA-2. Основное, что о ней стоит знать — это ближайший аналог GPT3.5, который уже дообучен (дообучение модели — сложный и дорогой процесс). Если вы использовали Davinci / GPT3.5 Turbo, обратите внимание на эту модель.

4. У GPT4 увеличили лимит в два раза (50 сообщений). Это важно, так как я лично часто сталкивался с этим ограничением.

5. Теперь в чате можно задавать инструкции о себе. Не нужно каждый раз сообщать модели, кто вы и из какой компании. Достаточно указать это один раз в инструкции, и модель будет всегда иметь эту информацию. Очень удобно 🙂

@aihappens

Почему Twitter с Маском продолжает жить, а треды от Facebook, вероятно, умрет наравне с Clubhouse? (кстати вы знаете, что по недавним подсчетам, аудитория всех продуктов ФБ 2-3 миллиарда пользователей?)

Это вопрос, на который нужно найти ответ, если вы хотите создавать B2C продукты, которыми пользователи должны по задумке постоянно пользоваться, а не один раз.

Все дело в важной механике - она называется привычка. Но в этой простой механике есть одна очень сложная проблема, с которой человек чаще всего не справляется даже сам - создать новую привычку. Если вы создаете приложение и думаете, что человек привыкнет в него заходить просто так - скорее всего, это ошибка или упрощение. При формировании привычек помимо мотивации есть важный элемент - триггер. Вы должны четко понять, какой триггер будет у человека вызывать желание открыть ваше приложение. И если вы не создаете TikTok, то этот триггер точно будет отличаться от триггера "ощущаю лень".

Пример понятного триггера - приложение для учета пищи. Вам нужно приучить пользователя к тому, что когда он ест, он пользуется вашим приложением. И если вы каким-то продуктовым чудом сделаете так, что пользователь воспользуется приложением 10-20 раз в процессе приема пищи, его вовлеченность в дальнейшем будет гарантирована. Здесь на помощь приходит геймификация и различные награды. Но пост не об этом.

В чем же проблема с тредами Facebook? Очевидно, что план заключался в использовании привычки заходить в Twitter. Но изменить привычку так же сложно, как ее создать. Это был предсказуемый фейл. А привычку писать в Twitter люди формировали на протяжении десятилетия, и в различных контекстах приходили туда что-то читать. Именно это и покупают в таких приложениях, а не просто большую аудиторию. И это покупал фейсбук вместе с инстаграмом и вотсапчиком. Запускать что-то с нуля - совсем другая песня 🙂

@aihappens

работу с LK-99 несколько раз подтвердили в других лабораториях (этот суперпроводник, работающий при комнатной температуре).

значит стоит ответить на вопрос, а что могут дать сверх проводники, работающие при комнатной температуре?

вот пара примеров:
1) сверхпроводники имеют нулевое электрическое сопротивление, что означает, что они могут проводить электрический ток бесконечно долго без каких-либо потерь. С помощью сверхпроводников, работающих при комнатной температуре, мы могли бы строить линии электропередач, которые не теряют энергию в виде тепла, что сделало бы нашу электрическую инфраструктуру намного более эффективной. Это резко сократит глобальное потребление энергии и может сыграть важную роль в борьбе с изменением климата. Более того, они могут позволить создавать более эффективные и емкие батареи, изменяя способ хранения энергии.

2) Квантовые компьютеры используют квантовые биты или «кубиты» для обработки информации. Эти кубиты часто поддерживаются в состоянии сверхпроводимости. Однако для поддержания этого состояния в настоящее время требуются чрезвычайно низкие температуры, что делает квантовые компьютеры непрактичными для широкого использования. Сверхпроводники при комнатной температуре могут сделать квантовые вычисления более доступными и экономически эффективными, что может привести к революции в вычислительной мощности и возможностях хранения данных. Это может оказать глубокое влияние на такие области, как искусственный интеллект, криптография, открытие лекарств и многие другие.

3) Сверхпроводники могут генерировать мощные магнитные поля, которые можно использовать для магнитной левитации. Современные поезда на магнитной подвеске, которые «плавают» в магнитном поле, уменьшая трение и обеспечивая чрезвычайно высокие скорости, используют сверхпроводники, требующие охлаждения. Сверхпроводники, работающие при комнатной температуре, сделают технологию магнитной подвески гораздо более практичной и могут произвести революцию в общественном транспорте, сделав высокоскоростные путешествия более доступными и экологически чистыми.

если вы прочитали и подумали, пиздец какие умные мысли Леша тут написал - расслабься, эт просто результат диалога с GPT4. Физику я знаю, но магия сверхпроводников мне досконально не понятна.

но пока все это читаю в очередной раз вспоминаю про разницу между цифровыми технологиями и физическими. Если завтра выпустят GPT-5, то у меня она будет уже завтра. А если завтра соберут на основе LK-99 квантовый комп, то у меня он будет через 3-5 лет :( Пока его произведут, пока начнут продавать и тд.

Истинные чувства за токсичными комментариями

Мне показалась очень интересной идея Gershuni в одном из недавних постов.

В общении между людьми много токсичности, а в интернете - очень много токсичности.
Как правило, грубость обусловлена комплексами, защитными реакциями, низким уровнем самооценки, эмпатии и эмоционального интеллекта.

Что если бы у нас был переводчик с языка агрессии на язык честных и уязвимых чувств?

Попросил Chat GPT перевести один забавный срач из комментариев под постом "Кого бы вы воскресили - Егора Летова или Лил Пипа?"
(в выражениях ребята не стесняются)

Макс: какой еблан проголосует за второй вариант? как можно настоящую легенду в принципе сравнивать с пускай неплохим, но рэпером?
Роман: Легенду со своей жиденькой говномузыкой?
Макс: обоснуй, хуесос
Роман: Как я могу обосновать то, что и так понятно? Тупейший текст песен, и музыка к ним поставлена ужасная
Макс: какой же ты бескультурный уебан. Что значит "музыка поставлена ужасаная"? Почти на всех песнях Летова играют инструменталы, сыгранные именно им, а играют они на текста, которые также Летов писал сам, долбоёб
Роман: бескультурный уебан тут ты, мат через слово
Макс: при чем тут вообще мат? в интернете никто не обязан соблюдать совковые устаревшие нормы общения

Разбор эмоций и изначальных интенций:

Макс: Я очень удивлён, что кто-то может предпочесть второй вариант. Для меня первый исполнитель - легенда, и мне сложно понять, как его можно сравнивать с другим. Неужели кто-то действительно думает, что он хуже?
Чувства Макса: Недоумение, удивление, разочарование и желание защитить своё мнение и то, что для него ценно.

Роман: Мне кажется, у этого исполнителя слабая музыка, и он недостоин звания "легенды".
Чувства Романа: Несогласие, желание выразить своё мнение, удивление другому взгляду. Возможно, чувствует одиночество в своей позиции и хочет спровоцировать сильную реакцию.

Макс: Можешь объяснить, почему ты так думаешь?
Чувства Макса: Обида, раздражение, желание понять противоположное мнение, потребность в защите своей точки зрения.

Роман: Для меня тексты его песен кажутся банальными, а музыка не впечатляет.
Чувства Романа: Чувствует неуважение со стороны Макса, обижен и раздражен. Желает подтвердить свою позицию, возможно, чувствует потребность в признании.

Макс: Мне кажется, что ты недооцениваешь глубину его творчества. Он создавал музыку и тексты самостоятельно. Это не просто песни, это его душа.
Чувства Макса: Гнев, неприятие, желание защитить объект своего восхищения.

Роман: Мне кажется, что ты слишком агрессивно отстаиваешь свою позицию.
Чувства Романа: Обида, стремление установить границы в общении, желание быть услышанным.

Макс: Мне кажется, что в интернете мы можем выразить свои чувства более открыто, без следования строгим правилам общения.
Чувства Макса: Несогласие, потребность в свободе выражения, желание защитить свою позицию.

Оба собеседника испытывают сильные эмоции по отношению к своим взглядам на музыку и её авторов и испытывают раздражение из-за несовпадения мнений. Макс ищет подтверждение своему восхищению и уважению к своему любимому исполнителю, чувствует себя не понятым. В свою очередь Роман чувствует что на него нападают и хочет чтобы Макс был менее агрессивен. Оба стремятся защитить свои взгляды, что порождает конфликт.

Макс и Роман так грубы друг с другом из-за глубоких эмоциональных инвестиций в свои музыкальные вкусы и представления о культуре. Эти вкусы и представления могут быть связаны с их личным опытом, идентичностью или значимыми моментами в их жизни. Когда их взгляды сталкиваются, каждый из них может чувствовать, что его личная идентичность или ценности под угрозой, что приводит к защитной реакции и агрессии. Недостаток эмпатии и стремление быть услышанными также могут усугублять этот конфликт.

——-

2044 год
...Роберт уже открыл рот чтобы высказать жене всё что думает, но вдруг имплант в ухе тихонько пикнул и произнёс: "Притормози. Алиса переживает за тебя. Она уставшая и голодная. Это не агрессия, это искренняя забота. Дайте друг другу время отдохнуть"

Столько накопилось для вас новостей! Вышел из свадебно \ ADHDшного \ просто ленивого паралича и готов снова шерить контент!

Новости вокруг OpenAI:

Сначала на языке фактов:

1. Дообучаемая GPT-3.5. В целом полезно, но по моим ощущениям, на фоне Llama 2 не имеет явных преимуществ, кроме алаймента (это то, что позволяет сетям быть "добрыми").
2. Sam написал, что скоро можно будет дообучать GPT-4! Это действительно важно. С нетерпением жду.
3. У большинства пользователей убрали лимиты на GPT-4. 😯

Теперь мои наблюдения:

1. За последние пару месяцев GPT-4 стала работать быстрее, но, кажется, стала немножко тупее. Я бы даже сказал, она стала ленивее. Мы её за это не осуждаем, но из-за этого в диалогах появляется несколько лишних сообщений. В целом прошлые задачи также решаются.
2. Недооцененная мощность код-интерпретатора для задач с анализом данных. Я переделал уже все что было у меня связано с экселями и еще друзьям часть задач решил. Графики и обработка таблиц - мега пушкабомба.

В ближайшие дни напишу вам о двух интересных кейсах, которые попали ко мне на постоянку в работу.

А еще я решил, что здесь начнут появляться посты не только про машинное обучение, но и про мой опыт предпринимательства. Технологического предпринимательства!

😍Advanced Data Analysis (это стало вместо кода интерпретатора) - кажется самая слабо раскрытая функция от open.ai.

Сначала о том, как это работает: вам выдают немножко ресурсов на серверах компании, где gpt4 может не только написать код, но и сама запустить его. Интересно то, что внутри либо это какая-то кастомная модель, либо сложная инструкция, которой она следует.

Что умеет делать:

1. обрабатывать ваши эксельки - фильтровать данные, строить прогнозы.
2. конвертировать данные в другие форматы.
3. генерировать данные.
4. интерпретировать и строить графики.
5. можно ещё конвертировать видео/аудио/картинки, но я не пользовался особо.

Пример моей задачи: у меня есть выгрузка данных статистики по клиентам, я могу задавать вопросы - какая выручка, средние / макс значения, разные виды аппроксимаций.

Про аппроксимации хочется отдельно - я часто спрашиваю вопрос вида: а как лучше аппроксимировать эти данные, дальше прошу построить 3-4 разные версии и смотрю результаты.

Чтобы всё работало нормально, столбцы должны быть хорошо названы. Прикольно, что вам не надо обращаться к данным супер точно.

Проблемы этой функции:

1. нужно перепроверять результаты - часто модель может понять запрос "чуть криво"; Например, у меня есть выручка 2019, 2020, 2021, 2022. Если я напишу сравни выручу с 2019 по 2022, она возьмет только 2 столбца.
2. нужно обращать внимание модели на нужные элементы. Помогает запрос типа - изучи 10 элементов этого столбца.
3. забывание. У модели есть окно контекста как и в чате, и со временем начало работы она забывает.

Но в целом я считаю, что эта функция - мегасильная по возможностям. Парадигма "личного аналитика" в ней работает на 100% для меня. То с чем я бы жарился в экселе или питоне 5-10 часов делается за 15-20 минут. Отдельно круто, что в этом режиме модель сама задаёт вопросы - а куда пойдем, а что делаем с этими данными. Особенно когда у тебя столбцы с данными вида 100000 рублей - 500000 рублей. Перевести это за минуту в два столбца где будут только числа, или когда у тебя были данные, где человек выбирает 3-4 опции и по ним надо посчитать количество выборов. В общем, сууууупер полезная, ставлю лайк!

хочешь больше - добро пожаловать на курс prompting.one ☺️

крутой пример из комментов https://t.iss.one/c/1438174755/2184

читаю комменты под постом выше и хочется высказаться еще:

Мне хочется напомнить о нескольких вещах. Во-первых, не все обладают техническими навыками или специализированным образованием, позволяющим им без труда делать сложные вычисления или писать код. Во-вторых, многие предприятия, организации и профессии не требуют от своих сотрудников или участников этих навыков. Продуктовые менеджеры, технические писатели, тестировщики и многие другие важные могут обходиться без написания кода. И этих людей БОЛЬШИНСТВО даже в IT сфере.

Поэтому я просил бы быть более чуткими и ответственными в высказываниях, касающихся сложности задач и уровня знаний других. Никто не заслуживает быть униженным или обесцениваемым за свои умения. Большинство людей не имеют возможности, времени или необходимости становиться специалистами в области IT, и это совершенно нормально. Давайте уважать разные уровни знаний и опыта, и помогать друг другу становиться лучше.

пиз!

@aihappens

Хочется рассказать про канал @kyrillic. Я вообще читаю очень мало каналов, но тут для меня прям комбо!

1) Как и я, Кирилл прошел Ycombinator - топовый акселератор стартапов.
2) Он один из немногих моих знакомых, который создал и поддерживает платное коммьюнити, не ориентированное на топов крупных компания и не на англоязычной аудитории. Мы с ним даже обсуждали, как работает эта магия.
3) Кирилл – реальный номад, и он стал таким не в 2022 году. Некоторые его посты мне очень помогли, например, этот.

При этом мы совсем не сошлись в вопросе будущего AI, но, на мой взгляд, это даже к лучшему. Есть с кем подискутировать 🙂

релизы Apple - херня?)

отследил в себе интересное изменения последние несколько лет. Для меня Apple из компании, которая делает образцовые продукты перешла в компании, которая интересна мне в первую очередь технически. Да-да, можно послушать по 10 кругу мемы "О господи, они додумались сделать type-c в iphone", но честно немножко задрало. Что для меня действительно интересно последние 2-3 года - это развитие собственных чипов от купертиновцев. В айфоне 3 нанометровый чип. 3 нанометра - это очень мало. ОЧЕНЬ МАЛО. Я бы даже вот так сказал. Это дает очень крутую производительность с очень низким потреблением энергии.

Понимаю ли я зачем мне это в телефоне? в ноуте - да, мак на М3 я уверен будет супер хот, хотя даже М2 приятный. В телефоне мне нахрен это не упало, кроме как приятного внутреннего задротского ощущения, что в нем такой процессор. Но продавать это массам не реально, поэтому презентация про СО2, камеру и прочую фигню.

хотя я знаю кейс кейс, где могут жестко решить такие чипы — если вы хотите запускать GPT модели риал тайм на телефоне. 😌

@aihappens

Хайп спал, можно писать! Открываем цикл постов про фаундерский опыт и о том, как лучше не делать.

поговорим про Refocus. Для контекста можно глянуть вот эту статью. Я не буду обсуждать ребят или тем более осуждать основателей, но хочу на их примере поговорить о логической ловушке, в которой сам оказывался несколько раз.

В компании финансовые проблемы, инвестиции не привлекаются, свои деньги закончились, и команда задаёт логичные вопросы: когда, собственно, будут деньги? Что делают фаундеры: медленно сокращают штат, говорят команде, что делают всё возможное и пытаются её успокоить, чтобы люди не разбежались. И они правда делают, но к сожалению в мире не все зависит от вашей работы. Их поведение выглядит чертовски логично. Однако, позвольте мне объяснить, почему лучше следовать другой логике.

Начнём с того, что я сам был в таком состоянии, ммм, раза три точно. И до последнего случая действовал точь-в-точь как основатели Refocus. Отличие лишь в том, что я в итоге находил деньги, и компании не пришлось закрывать. Но стресса было много, и, о, сюрприз, команда в таких ситуациях всё равно разбегалась. Так почему это происходит и что можно было сделать иначе?

Вместо приятной роли супергероя, который всех спасёт, нужно давать команде реальную информацию о том, что с вами происходит. И чем раньше вы дадите её команде, тем меньше дополнительной ответственности вы на себя возьмёте. Да-да, именно ответственности. Когда вы одинаково информированы каждый далее как взрослый человек решает для себя: я остаюсь и верю в успех нашего кооператива или не верю и ухожу. В обоих случаях фаундер выигрывает и сотрудник. Но чтобы на это пойти, нужно переступить через своё EGO, а сделать это ой как непросто.

Еще примеры и исследования на тему влияния ИИ на продуктивность людей и разделение труда. Спойлер: они все подтвреждают тезис о великом уравнении.

1. Исследование MIT почти 500 сотрудников, чья работа в основном состоит из написания текстов показало, что GPT существенно снижает разницу в качестве работы между сильными и менее опытными или талантливыми сотрудниками. При этом GPT больше заменяет усилия работников, чем дополняет их навыки.

2. Исследование показывает, что доступ к генеративному ИИ повышает творческий потенциал людей при написании коротких рассказов, особенно у менее креативных авторов, но в то же время приводит к снижению уникальности и разнообразия создаваемого контента.

3. Эксперимент оценивающий влияние помощи ИИ на юридическое мышление: студенты сдавали экзамены по праву с помощью GPT-4 и без неё. Оказалось, что худшие студенты выигрывали больше всего от ИИ, а лучшие - теряли.

4. Исследование более чем 5,000 сотрудников тех поддержки использующих генеративный ИИ. Худшие агенты техподдержки и новички только вышедшие на работу показали максимальный прирост результата. Так же сильно улучшилась оценка качества решения проблемы со стороны клиента.

Меня всегда в любом бизнесе (особенно, крупном) поражало количество тупой и бесполезной работы. Очень для многих ролей это было близко к 100%. Теперь эта проблема решена: тупую работу делают роботы, а люди, даже неквалифицированные, с помощью роботов делают (относительно и в кавычках) «сложную».