Alexa+: Новый AI-ассистент Amazon

Amazon запустил Alexa+ - генеративного ассистента нового поколения.

🧠 Техническая начинка
В основе,- LLM из Amazon Bedrock. (Claude на текущий момент, как самая мощная)

"Эксперты": Технология объединяет специализированные системы для разных задач (API, инструкции, сервисы)

Агентность: Alexa+ умеет самостоятельно ходить по интернету и выполнять сложные многошаговые задачи (например, самостоятельно найти и заказать ремонт техники)

Интеграции: Работает с 600+ млн устройств и тысячами сервисов (OpenTable, Spotify, Apple Music, Ring, Uber Eats)

Кросс-платформенность: Работает на Echo-устройствах, в мобильном приложении, браузере и автомобилях с сохранением контекста разговора

Стоимость $19.99/месяц
Бесплатно для подписчиков Amazon Prime

#Amazon #Alexa
———
@tsingular

Генеральный директор Microsoft в подкасте Dwarkesh о будущем AI

Настоящий бенчмарк для AI — не AGI, а прирост мировой экономики, которому он способствует.

Цитата:
"AGI-хайп — это просто бессмысленный бенчмарк-хакинг. Настоящий бенчмарк — растёт ли мировая экономика на 10%?"

Четкий инженерно-прагматичный подход: если вся эта возня с ИИ не приводит к реальному экономическому росту — какой в ней смысл?

Для Microsoft AI уже приносит $13 млрд годового дохода. По текущим трендам через 4 года это будет $130 млрд. И Надэлла прямо признаёт, что это возможно только если мировая экономика начнёт сильно расти.

Hyperscalers vs модели: где настоящие деньги
Сатья очень четко расставляет акценты, где в AI-стеке будет создаваться основная ценность:
1. Hyperscalers точно выиграют (Azure, AWS, GCP). Логика простая: "intelligence is log of compute, whoever can do lots of compute is a big winner". AI-системы будут всё более голодны к вычислениям, причём на всех этапах — от обучения до инференса.

Агенты - один человек запускает программы, которые запускают еще больше программ

2. На уровне моделей — не будет монополии. Сатья верит, что:
- Корпоративные клиенты не потерпят монополию
- Открытые модели будут всегда существовать как альтернатива
- Государства не позволят частным компаниям доминировать
3. На прикладном уровне — победителей будет много, по категориям.

Прямо оспаривает тезис о неизбежности монополий в AI!

Killer insight про Microsoft Gaming и новую модель Muse
Самое недооценённое объявление: Microsoft создала модель Muse (Human Action Model), которая может генерировать геймплей в реальном времени!

Но не это главное. Секретное оружие Microsoft — игровые данные:
"Я думаю об игровых данных как о том, чем YouTube является для Google — игровые данные для Microsoft."

То есть Microsoft планирует использовать богатейший набор данных из своих игр (вспомним покупку Activision Blizzard за $69 млрд), чтобы создать модели для генерации не только игр, но и универсальных "моделей действий" и "моделей мира".

Три стратегических ставки Microsoft
Надэлла сказал, что ещё 5-7 лет назад определил три главных технологических направления для Microsoft:
1. AI — революция в логике бизнеса
2. Квантовые вычисления — системный прорыв
3. Mixed Reality — революция в присутствии
И сейчас все три начинают сходиться (хотя MR оказалась сложнее, чем ожидалось).

Квантовый прорыв — "транзисторный момент"
В тот же день, когда была запись интервью, Microsoft объявила о создании первого топологического кубита на основе майорановских фермионов. Это может позволить создать квантовый компьютер на миллион кубитов к 2027-2029 годам!

Надэлла называет это "транзисторным моментом" в квантовых вычислениях, намекая на параллель с моментом изобретения транзистора в 1948м, которое привело к появлению современной электроники.

Самое интересное: Microsoft видит синергию между квантовыми вычислениями и AI.

"Возможно, вы будете использовать квантовый компьютер для генерации синтетических данных, которые затем будут использоваться AI для обучения лучших моделей"

Новая эпоха офисной работы
Надэлла описывает, как изменится работа с внедрением AI. Он уже сейчас использует AI-ассистентов для подготовки к встречам и интервью (включая подготовку к этому подкасту!).

Ключевой инсайт: не путайте работника знаний (knowledge worker) с работой знаний (knowledge at work).

AI автоматизирует текущую "работу знаний", но создаст новые формы когнитивной работы.

Пример: вместо разбора почты вручную, AI будет готовить 3 черновика, которые вам нужно просмотреть и одобрить.

Надэлла предсказывает появление "менеджера агентов" — нового интерфейса для управления множеством AI-помощников.

Про безопасность и регулирование
Главное ограничение развития AI Надэлла видит не в технических проблемах, а в юридических:
"Основной сдерживающий фактор — как будет развиваться юридическая инфраструктура"
Он убежден, что мы не сможем развернуть по-настоящему автономные системы без решения вопросов ответственности и регулирования. И это более реальное препятствие, чем технические проблемы!

Вывод для бизнеса
1. Microsoft строит платформу для нового способа работы со знаниями
2. Победителей в AI будет много, монополия маловероятна
3. Не забывайте про квантовые вычисления — они могут быть ключом к следующему прорыву
4. Главные вызовы — не технические, а юридические и организационные
5. Реальная ценность создаётся при внедрении в рабочие процессы

Полный перевод разместил в RuTube

Переводы, как всегда, можно поддержать тут

#Microsoft #SatyaNadella #futurology #переводы
———
@tsingular

Phi-4-Multimodal-Instruct: новая мультимодальная модель от Microsoft

Phi-4-Multimodal-Instruct — это лёгкая (всего 5.6B параметров ~12Gb) мультимодальная модель, которая одновременно работает с текстом, изображениями и аудио.

🧠 Ключевые параметры:
- 5.6B параметров (против 7B у Qwen-VL или гигантских 175B у GPT-4o)
- 128K токенов контекста (хватит для больших документов с картинками)
- Датасет: 5T текстовых токенов, 2.3M часов речи, 1.1T токенов изображений-текста

🌐 Поддержка языков:
- Текст: 23 языка включая русский, украинский, арабский, китайский и т.д.
- Зрение: только английский (пока)
- Аудио: 8 языков — английский, китайский, немецкий, французский, итальянский, японский, испанский, португальский (русского нет)

🔥 Возможности:
- Распознавание речи (ASR): опережает WhisperV3 по точности (WER 6.14% против 6.5%)
- Распознавание изображений и анализ графиков: на уровне моделей, которые в 10 раз больше
- Работа с документами и таблицами: 93.2% точности на DocVQA
- Работа с несколькими изображениями одновременно
- Перевод аудио в текст с последующим переводом текста

💼 Бизнес-применение:
- Расшифровка и анализ переговоров
- Работа с документами и финансовыми отчётами
- Автоматический анализ фото/видео объектов
- Мультиязычное распознавание речи в приложениях
- Документооборот с OCR-распознаванием для бэк-офиса

Microsoft явно позиционирует модель для использования на слабом железе и в сценариях с ограниченными ресурсами. По сути, это попытка впихнуть возможности больших мультимодалок в компактную модель, которая не требует армию A100 и сможет работать на мобильных устройствах следующего поколения.

Особенно круто, что модель обрабатывает всё через единую нейросеть, а не через "сшитый" пайплайн из разных моделей. Это значит меньше задержек при работе и лучшее понимание контекста между разными модальностями.

Ждем на Ollama и когда добавят русский. Хотя, может кто-то возьмётся дообучить?

#Phi4 #Multimodal #Microsoft
———
@tsingular

GPT-4.5: OpenAI замахнулся на интуицию и "эмоциональный интеллект" 🧠

OpenAI только что выкатил GPT-4.5.
И тут интересный поворот: вместо наращивания рассуждений (reasoning), они пошли в сторону масштабирования "интуитивного понимания" через unsupervised learning.

Модель не "думает" перед ответом, а просто "знает больше"

Снижение галлюцинаций: 37.1% против 61.8% у GPT-4o по SimpleQA

Точность в тесте SimpleQA — 62.5% против 38.2% у GPT-4o

В математике (AIME '24) — 36.7% против 9.3% у GPT-4o (но o3-mini с reasoning даёт 87.3%!)

В программировании: SWE-Lancer Diamond — 32.6% ($186,125) против 23.3% ($138,750) у GPT-4o

Модель лучше понимает контекст и "читает между строк" — меньше прямых инструкций

"Эмоциональный интеллект" выше — подстраивается под ситуацию (судя по примерам в релизе)

Для креативных задач и текстов даёт более короткие, но при этом точные ответы

Доступ: ChatGPT Pro уже сейчас, Plus/Team на следующей неделе, Enterprise/Edu через 2 недели

Ограничения:
Пока не поддерживает Voice Mode, видео и скриншеринг/operator

В API доступно, но дороже чем GPT-4o и его будущая судьба там не определена

Цены: $75/$150 в за миллион токенов.

Без reasoning отстаёт от o1 и o3-mini в сложных аналитических задачах

Забавно, что OpenAI явно пытается нащупать золотую середину между двумя подходами: иметь модели для рассуждений (o1, o3-mini) и модели для интуитивного понимания (GPT-4.5).

Для повседневной работы, особенно в области творчества и коммуникаций, GPT-4.5 выглядит как мощный инструмент. Но если вы решаете сложные технические задачи — возможно, стоит подождать, когда они объединят оба подхода.

Интуитивный интеллект, - это интересная тема. Посмотрим как взлетит. Пока все-таки preview.

#GPT45 #OpenAI
———
@tsingular

Абсолютно не стоит своих денег на фоне Sonnet 3.7 thinking.

#gpt45 #sonnet37 #benchmarks
------
@tsingular

Как создать интерактивную презентацию с помощью ИИ моделей.

Вчера на конференции рассказывал про возможности моделей на сегодняшний день и в целях демонстрации подготовил презентацию-обзор.

Но, как настоящий ИИ энтузиаст :), решил это сделать с помощью моделей и получилось так, что по итогу очень многие стали обращаться с вопросам - а как именно ты это сделал, какие промпты и т.д.

Так что держите экспресс-курс.
Делитесь с друзьями, коллегами.

Rutube в высоком разрешении.

Сам код презентации в комментариях.

Использовались:
Grok3 + o3 mini high deep research - сбор и подготовка
Claude Sonnet 3.7 Thinking - отрисовка

Там, конечно, есть еще что улучшить, - например добавить адаптацию под разные экраны и чтобы он кликер ловил,- пока только с клавиатуры слайды переключаются.

#demo #презентация
———
@tsingular

В связи с переездом часть ботов может не работать ближайшие 3 часа.

UPD: переезд завершён. Все боты в штатном режиме.

#боты #переезд
------
@tsingular

Google строит AGI. Планы Брина: 60-часовая рабочая неделя и AGI уже в этом году

Сергей Брин вернулся к активной работе и запустил серию внутренних изменений в компании! Сооснователь Google разослал мемо команде DeepMind с конкретными указаниями по ускорению разработки AGI.

Брин активно работает над проектом Gemini, числится среди "ключевых разработчиков". И теперь он хочет от команды:

- 60-часовую рабочую НЕДЕЛЮ (10 часов 6 дней или 12/5).
- Ежедневное присутствие в офисе – прощай, гибрид с 3 днями в неделю
- Забыть про "продукты-няньки" – меньше фильтров и ограничений в AI

Это явный сдвиг в сторону снятия ограничений с ИИ. Термин "nanny products" относится к чрезмерно отфильтрованным системам. Google уже изменил политику в феврале, сняв запреты на использование ИИ для оружия и слежки.

- Для поставщиков AI: Очевидный тренд на снятие ограничений с систем ИИ. Кто успеет предложить более мощные и менее "зарегулированные" решения, получит преимущество.

- Для корпоративных клиентов: Стоит готовиться к появлению значительно более мощных AI-систем уже к концу 2025 года.

- Для разработчиков: Похоже, индустрия снова движется к безумной культуре переработок. Но переплачивать будут только за результат, а не за часы.

Интересно, что Google пока не меняет официальную политику работы из дома, что говорит о том, что идеи Брина еще не стали корпоративной догмой. Но тренд очевиден — техногиганты возвращаются к культу трудоголизма.

Пора запасаться попкорном, ближайший год в AI будет диким и беспощадным. И если вы работаете в этой области – готовьтесь к бешеным дедлайнам и ночевкам в офисе. Брин сказал.

#AGI #SergeyBrin #Google #DeepMind #worklife
———
@tsingular

Chain of Draft: ускорение через минимализм в промптах

Исследователи из Zoom Communications предложили новый подход к работе с языковыми моделями, который уменьшает многословность, сокращает задержки и снижает затраты.

Суть метода
Chain of Draft (CoD) похож на то, как мы, люди, делаем заметки — кратко, по существу, без лишней воды. Вместо подробных рассуждений (как в Chain of Thought) модель генерирует минималистичные промежуточные шаги — буквально 5 слов на шаг.

Посмотрите на разницу:
Вопрос:

Q: Jason had 20 lollipops. He gave Denny some lollipops. Now Jason has 12 lollipops. How many lollipops did Jason give to Denny?

Стандартный ответ:

А: 8

Chain of Thought:

А: Давайте рассуждать шаг за шагом:
1. Изначально у Джейсона было 20 леденцов.
2. После того, как он дал некоторое количество Денни, у Джейсона осталось 12 леденцов.
3. Чтобы узнать, сколько леденцов Джейсон дал Денни, нам нужно вычислить разницу между исходным количеством леденцов и оставшимся.
4. Составим простую задачу вычитания: Исходное количество леденцов - Оставшееся количество леденцов = Леденцы, отданные Денни
5. Подставляем числа: 20 - 12 = Леденцы, отданные Денни
6. Решаем вычитание: 20 - 12 = 8
Таким образом, Джейсон дал Денни 8 леденцов.
####
8 леденцов

Chain of Draft:

А: 20 - x = 12; x = 8. #### 8

И это работает! 🔥

- В задачах GSM8k (арифметика) CoD сохранил точность 91% вместо 95% у CoT, но сократил токены на 80% (с 200 до 40)
- В задачах понимания спорта CoD даже превзошел CoT по точности (97.3% против 93.2%), снизив токены на 92.4% (с 189.4 до 14.3)
- В символическом рассуждении оба метода показали 100% точность, но CoD использовал на 86% меньше токенов

Что особенно интересно — в некоторых задачах меньшее количество информации позволило достичь лучших результатов! Меньше шума = лучше концентрация модели на ключевых аспектах.

Практическое применение
Для бизнеса это открывает возможности значительной экономии:
1. Снижение затрат на API: токены = деньги, а CoD сокращает их количество до 7.6% от использования CoT
2. Увеличение пропускной способности: меньшая задержка = больше запросов за единицу времени
3. Улучшение UX: ответы приходят быстрее, иногда в 3-4 раза (с 4.2с до 1с на GSM8k)

Как внедрить
Техника до смешного проста — просто используйте промпт:

Think step by step, but only keep a minimum draft for each thinking step, with 5 words at most. Return the answer at the end of the response after a separator ####.

И всё! Никаких сложных доработок API или архитектуры.

Недостатки и ограничения
В исследовании модели просто инструктировали быть краткими, без жесткого ограничения. На практике они могут не всегда следовать рекомендации в 5 слов.

Также, хотя для многих задач потеря точности минимальна (с 95% до 91%), в критических сценариях даже такое снижение может быть неприемлемо.

Конкуренты метода
В статье упоминаются другие подходы к снижению задержек:
- Skeleton-of-Thought (SoT): сначала создается скелет ответа, затем параллельно декодируются части
- Token-budget-aware LLM reasoning (TALE): динамически оценивает глобальный бюджет токенов на основе сложности
- Coconut: выполняет рассуждение в скрытом пространстве, а не на естественном языке

Но CoD выигрывает своей простотой внедрения и гибкостью — он позволяет неограниченное количество шагов рассуждения, ограничивая длину каждого.

Похоже, что краткость действительно сестра таланта — даже для искусственного интеллекта. 🤔

#ChainOfDraft #prompts
———
@tsingular

STORM: Агент для исследований от Stanford

Наткнулся на очень крутой open-source проект из Стэнфорда - STORM (Synthesis of Topic Outlines through Retrieval and Multi-perspective Question Asking).

Наконец-то нормальная opensource реализация.

Суть в том, что STORM не просто гуглит информацию, а проводит настоящее исследование темы - задаёт умные вопросы, собирает информацию из разных источников и генерирует структурированные статьи с цитатами.

Технические особенности:
- Работает через два модуля: сначала исследует тему и составляет план, потом пишет полноценную статью
- Использует "перспективные вопросы" - смотрит на тему с разных углов, чтобы не пропустить важные аспекты
- Симулирует диалог между экспертом и писателем для глубокого понимания темы
- Интегрируется с разными LLM - можно использовать GPT-3.5 для более простых задач и GPT-4o для генерации итогового контента (экономия на токенах)
- Поддерживает несколько поисковых движков: YouRM, BingSearch, VectorRM и даже собственные документы

Недавние обновления:
- Интеграция с litellm для подключения любых языковых моделей 🔥
- Co-STORM - режим для совместной работы человека и ИИ над исследованиями
- Добавили VectorRM для работы с собственными документами

Установка через pip install knowledge-storm, но можно и напрямую с GitHub форкнуть. Уже набрал 22.2k звёзд!

Попробовать можно тут:
https://storm.genie.stanford.edu/

Лабораторный исследовательский проект. Работает только на английском, но поскольку это Open source - никто не мешает доработать напильником под свой язык, свои модели, свои поисковики.

#research #Stanford
———
@tsingular

🏥 Microsoft Dragon Copilot: ИИ-помощник, который избавит врачей от бумажной рутины

Microsoft анонсировала новинку, которая может серьезно изменить работу медицинских специалистов — Dragon Copilot. Это первый в отрасли унифицированный голосовой ИИ-ассистент для документооборота в клиниках.

Dragon Copilot объединяет технологии, которые раньше существовали отдельно:
- Распознавание речи Dragon Medical One (DMO) — проверенный годами инструмент для голосового ввода
- Амбиентное слушание DAX — ведёт постоянную запись разговора врача с пациентом без необходимости активации
- Генеративный ИИ с дополнительной настройкой под медицину
- Специальные меры безопасности для здравоохранения

Польза в цифрах по итогам тестирования:
- Экономит 5 минут на каждую встречу с пациентом (это примерно 13 дополнительных приемов в месяц 💰)
- 70% врачей сообщают о снижении выгорания
- 62% специалистов говорят, что меньше склонны уволиться
- 93% пациентов отмечают улучшение качества общения с врачом

Технические особенности:
1. Автоматизация документирования:
- Создание заметок по разговору на нескольких языках
- Работа офлайн с последующей синхронизацией (круто для мест с нестабильной связью)
- Персонализированный стиль и форматирование
2. Умный информационный помощник:
- Поиск по медицинской информации из проверенных источников
- Анализ записей для быстрых ответов на вопросы (например, "принимает ли пациент определенное лекарство")
- Подсказки для более полного документирования приёма (например, если забыли записать температуру или ИМТ)
3. Автоматизация задач:
- Распознает и создает более 12 типов назначений прямо из разговора и интегрирует их в ЭМК
- Автоматически генерирует направления к специалистам
- Создает понятные для пациентов резюме визитов
- Суммирует клинические доказательства для обоснования диагноза
4. Мультиплатформенность:
- Веб-приложение без установки клиента
- Мобильное и десктопное приложения
- Нативная интеграция с популярными ЭМК, включая Epic

Безопасность
В основе — Microsoft Secure Future Initiative. Данные защищены принципами конфиденциальности Microsoft, что критично для медицинских учреждений.

Когда ждать?
Релиз в США и Канаде — май 2025 года. Затем Великобритания, Германия, Франция и Нидерланды. Для других рынков обещают "новый опыт Dragon".

Что это значит для медицины?
Технология решает реальную проблему — 48% медиков испытывают выгорание. А с учетом стареющего населения и нехватки персонала, автоматизация рутины становится не роскошью, а необходимостью.

Суть в том, что Dragon Copilot не просто транскрибирует разговоры или заполняет формы. Он создает интеллектуальное рабочее пространство для приёма пациентов, не отвлекая врача на работу с бумагой.

Официальный сайт

Интересно, как быстро подобные решения придут на наш рынок.
Только вот на днях обсуждали, что по нормам у наших врачей норматив - 7 минут и документацию им приходится заполнять в свободное время, а уж про интерактив с данными пациента речь вообще не идёт.

#Медицина #HealthTech #Microsoft
———
@tsingular

🤖 Google Colab получил мощный ИИ-инструмент для анализа данных

Google наконец-то интегрировал Data Science Agent в Colab! Штука, которую показывали на I/O прошлого года, теперь доступна всем пользователям этой платформы для дата-сайентистов и разработчиков.

Что умеет:
- Автоматически чистит данные
- Строит визуализации и выявляет тренды
- Проводит статистический анализ
- Создает предиктивные модели
- Генерирует полноценный Python-код прямо в ноутбуке

Не нужно возиться с кодом самостоятельно — загружаешь датасет, формулируешь вопрос на человеческом языке, и агент сам пишет весь необходимый код.

Технические детали:
- Работает на Gemini 2.0 Flash
- Поддерживает CSV, JSON и TXT-файлы размером до 1ГБ
- Может обрабатывать около 120 000 токенов (примерно 480 000 слов)
- Встроенные инструменты "reasoning" для инженерии признаков
- Использует техники RL для улучшения работы

Базовая версия доступна бесплатно, но с ограничениями вычислительных ресурсов. Для серьезных задач придется оформить подписку (от $9.99).

#DataScienceAgent #Google #Colab #Gemini
———
@tsingular

Эта мысль кому-то может испортить настроение с утра.

... или наоборот вдохновить, как меня, например. :)

Поэтому поделюсь.

Итак.

Готовы?

Представьте как должна выглядеть RAG система, для ведения диалогов в реальном времени.

Т.е. не диалоговый режим - вопрос-ответ. Не псевдо-реальное время, как сейчас в голосовых ассистентах.
А именно RAG, который предвытягивает и фоном держит в актуальном состоянии RAG контекст, до того, как пользователь еще даже подумал задать вопрос.

И сколько для этого нужно ресурсов. Так что ASI еще долго не будет. Потому, что на каждом шаге - кратный рост ресурсного потребления.

У меня всё. Хорошего продуктивного дня всем :)

#LiveRAG #TimeMachine
———
@tsingular