358K subscribers
4.52K photos
900 videos
17 files
4.96K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🌟 Открытые модели и инструментарий для автопилотов от NVIDIA.

NVIDIA, сдержала обещания c NeurIPS 2025 и сделала еще один шаг к тому чтобы автомобили наконец научились понимать контекст вождения, а не просто детектировать разметку.

Современные автопилоты неплохо справляются со стандартными ситуациями. Но главная головная боль инженеров — это редкие, сложные сценарии, которые почти невозможно предугадать. Традиционные архитектуры, где восприятие отделено от планирования, часто пасуют, когда случается что-то нестандартное.

И вот здесь предлагается подход, где модель учится рассуждать причинно-следственными связями, почти как человек, разбирая ситуацию шаг за шагом. А это важный фактор для безопасности и доверия к системе.

🟡NVIDIA выкатила целую экосистему, которую можно пощупать руками:

🟢Alpamayo - первая в индустрии 10 миллиардная VLA-модель с поддержкой СoT, созданная специально для исследований. Она берет на вход видеопоток и генерирует не только траекторию движения, но и "reasoning traces" — то есть буквально объясняет логику своего решения.

Модель позиционируется как модель-учитель, которая может быть использована для обучения более компактных моделей или для авто-разметки данных.

🟢AlpaSim - полностью открытый, end-to-end фреймворк для симуляции, который позволяет моделировать реалистичные сенсоры и трафик, создавая идеальную песочницу для тестов.

🟢Physical AI Open Datasets - пожалуй, самый богатый датасет для автономного вождения на сегодняшний день. Туда входит более 1700 часов записей вождения из самых разных географических зон и условий. И, что важно, там куча тех самых редких кейсов, о которых мы говорили выше.

На практике, NVIDIA предлагает применять эти инструменты в своих решениях NVIDIA Cosmos и NVIDIA Omniverse.

В них можно дообучать модели на своих данных, валидировать их в симуляции и затем деплоить на железо.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
64👍36🤩35🔥20🤓7👏5👌2🤗1🦄1
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI запустила ChatGPT Health.

ChatGPT Health — отдельный раздел чат-бота исключительно для запросов, связанных со здоровьем, с возможностью интеграции с сервисами трекинга: Apple Health, MyFitnessPal, а также с личными медицинскими записями для анализа результатов анализов и истории болезни.

Вопросы приватности и безопасности данных решены с помощью многоуровневого шифрования и отдельной инфраструктуры; данные из ChatGPT Health по умолчанию не используются для обучения основных моделей ChatGPT.

Доступ к бета-версии открыт через лист ожидания для пользователей за пределами ЕС, Швейцарии и Великобритании; интеграция с медицинскими картами пока доступна только в США.
openai.com

✔️ Китай проверяет сделку по покупке Manus на нарушение экспортного контроля.

Министерство торговли КНР начало расследование приобретения стартапа Manus. Власти подозревают, что релокация сотрудников и технологий компании из Китая в Сингапур с последующей продажей американскому техно-гиганту могла быть попыткой обхода требований по лицензированию экспорта технологий.

Команда и основатели Manus покинули Китай летом 2025 года, чтобы дистанцироваться от геополитических рисков. Этот маневр позволил привлечь $75 млн. от американского фонда Benchmark, что ранее уже вызывало вопросы у Минфина США.

Компания Цукерберга утверждает, что на момент закрытия сделки в Manus не осталось китайского капитала, однако Пекин намерен выяснить, легально ли технологии покинули страну до того, как стартап сменил юрисдикцию.
ft.com

✔️ Siemens и NVIDIA создадут ИИ-ОС для заводов.

Компании объявили о расширении партнерства ради создания единой среды Industrial AI Operating System. Она построена на концепции централизованного интеллекта, который позволит непрерывно анализировать цифровые двойники и валидировать любые производственные изменения в виртуальной среде до их реализации в поле. Эталоном такого производства станет завод Siemens в немецком Эрлангене.

Для инженеров альянс готовит новые инструменты. В середине 2026 года выйдет Digital Twin Composer на движке NVIDIA Omniverse для построения промышленных мета-вселенных, а интеграция библиотек CUDA-X в программный стек Siemens обещает кратный прирост производительности в проектировании полупроводников и тяжелых инженерных симуляциях.
press.siemens.com

✔️ OpenAI, Anthropic и Google разделили лидерство в Intelligence Index 4.0.

Artificial Analysis представила 4-ю версию рейтинга ИИ-моделей, зафиксировав жесткую конкуренцию между топовыми игроками. Формальное лидерство досталось GPT-5.2 (Х-High), однако Claude Opus 4.5 и Gemini 3 Pro отстают от нее с минимальным разрывом, фактически образуя тройку равных лидеров.

В новой итерации индекса заметно просели абсолютные показатели: лучшие модели теперь набирают в районе 50 баллов против 73 в прошлой версии. Это связано с ужесточением методологии и ротацией тестовых наборов.

На смену AIME 2025 и MMLU-Pro пришли более суровые тесты: AA-Omniscience для проверки эрудиции и склонности к галлюцинациям, GDPval-AA для прикладных задач в 44 сферах и CritPt, оценивающий способности в физических исследованиях. Итоговый балл формируется из 4-х категорий: агенты, программирование, научное мышление и общие задачи.
Artificial Analysis в сети Х

✔️ Учёные из Ватерлоо научились бэкапить квантовые данные.

Команда из Университета Ватерлоо решила одну из фундаментальных проблем квантовых вычислений — невозможность прямого копирования информации. Суть метода, описанного в Physical Review Letters, заключается в шифровании квантовой информации в процессе ее копирования.

Как поясняют авторы, запрет на клонирование можно обойти, если создавать неограниченное количество зашифрованных дубликатов кубитов. Механизм защиты работает через одноразовые ключи: как только пользователь расшифровывает одну из копий, ключ автоматически аннулируется.

Это открытие фактически легализует создание «квантового облака». Технология позволяет хранить квантовые данных на распределенных серверах и создать аналог квантового Dropbox или Google Drive.
uwaterloo.ca

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
124👍71🔥9🎉8👏3😁2🤗2🦄1
Многие инженеры играются с LLM, но до продакшна у проектов дело доходит редко.
Пока всё ограничивается промптами, кажется, что всё просто.
Но как только появляется реальный кейс, сразу всплывают вопросы: архитектура, масштабирование, стабильность, контроль качества.

Курс «LLM-инженер» от GIGASCHOOL и AI Talent Hub сделан как раз про это.
Не про «потыкать модель», а про то, как строятся и запускаются LLM-продукты в реальных условиях.

Что разбирают на курсе:
- дообучение моделей: fine-tuning, PEFT, LoRA / QLoRA, основы RLHF
- инструменты: LangChain, LangGraph, работа с векторными базами
- архитектуры: RAG, поиск, безопасность LLM-продуктов
- MLOps: пайплайны, деплой, трекинг, версии моделей
- дополнительные темы: мультиагентные решения и AI-ассистенты

Это уже третий поток. Преподают люди, которые ежедневно работают с LLM:
Кристина Желтова (Газпромбанк), Александр Потехин (X5 Tech), Евгений Кокуйкин (HiveTrace).

На выходе - готовый проект в портфеле и понимание, что ты действительно управляешь процессом, а не просто повторяешь туториалы.

- Старт: 26 января
- Длительность: 25 недель (с каникулами)
- Итог: диплом о переподготовке

Подробности - на странице программы.
👍81😁19👏1813🤓10🙈8😎8🤣5🗿4🎉2💯2
📌ИИ-модель от Стэнфорда диагностирует 130 заболеваний по анализу одной ночи сна.

Стэнфордский университет натренировал SleepFM — фундаментальную модель для прогноза целого спектра патологий: от мерцательной аритмии и инфаркта миокарда до деменции и болезни Паркинсона.

Полисомнография — «золотой стандарт» изучения сна: человека обвешивают датчиками (ЭЭГ, ЭКГ, дыхание, мышцы) и пишут гигабайты сырых сигналов.


Но в ML-мире эти данные используются бездарно. Существующие модели тренировались на мелких датасетах сугубо под узкие задачи (найти апноэ, определить фазу сна).

Огромный пласт физиологической информации о здоровье пациента просто игнорировался, потому что размечать вручную сотни часов записи под каждую болячку — невозможно.

К тому же, если в одной клинике датчик ЭЭГ повесили чуть иначе или он отвалился, обычная модель ломалась.

В университете поняли, что врачи-разметчики не нужны, нужны объемы. Они собрали огромный датасет из 585 тыс. часов записей сна более 65 тыс. пациентов и придумали уникальный алгоритм обучения SSL для будущей модели.

🟡LOO-CL (Leave-One-Out Contrastive Learning)

Вместо того чтобы учить модель предсказывать диагноз, еt заставили решать пазл: система получает на вход сигналы от 3-x модальностей (сердце, мышцы, дыхание) и должна предсказать эмбеддинг четвертой (мозговые волны).

Это заставляет нейросеть на базе 1D CNN и Transformers выучивать глубокие, скрытые связи между физиологическими процессами.

🟡Вторая фишка — Channel-Agnostic Attention.

Модели все равно, какие именно датчики подключены и в каком порядке. Если канал отвалился или отсутствует, attention pooling просто перераспределяет веса, и инференс продолжается.

🟡SleepFM научилась читать по сну не только бессонницу.

Получив на вход 1 ночь записи, модель предсказывает риск 130 заболеваний, причем она делает это точнее, чем специализированные модели, обученные с учителем: риск болезни Паркинсона выявляется в 89% случаев, деменции — в 85%, а вероятность сердечного приступа — в 81%.

Авторы работы полагают, что с развитием носимой электроники такая диагностика может перекочевать из лабораторий в умные часы, а тесты модели доказали, что что в шуме сигналов сна может быть скрыта полная медкарта пациента.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍158🔥71👏5324😁11🤩9👀5🤓3👻3👌2
Media is too big
VIEW IN TELEGRAM
✔️ Commonwealth Fusion Systems запустит термоядерный реактор в 2027 году.

Стартап Commonwealth переходит от теоретических моделей к реальному строительству демонстрационной установки SPARC. Для ускорения разработки инженеры используют «цифровых двойников» на базе ИИ, созданных в партнерстве с Siemens и Nvidia.

Получение первой плазмы запланировано уже на 2027 год. Успех этого этапа откроет дорогу к запуску полноценной коммерческой станции ARC мощностью 400 МВт в начале 2030-х годов.

Такая установка способна обеспечить электричеством около 300 тыс. домов. В компании говорят, что стабильная и чистая энергия станет важным ресурсом в первую очередь для питания дата-центров, обслуживающих ИИ.
fortune.com

✔️ Arm открывает подразделение Physical AI.

Arm Holdings проводит реструктуризацию, чтобы закрепиться на растущем рынке роботов. Компания объявила о создании нового бизнес-юнита «Physical AI», который объединит разработки для автомобильной индустрии и робототехники. Теперь глобальная стратегия Arm будет строиться вокруг трех направлений: Cloud & AI, Edge (мобильные устройства и ПК) и нового сегмента физического ИИ.

По словам директора по маркетингу Arm, слияние автомобильного и робототехнического векторов — это инженерная необходимость. Оба направления предъявляют одинаковые требования к архитектуре чипов: безопасность, отказоустойчивость и оптимизация энергопотребления. Возглавит новую структуру Дрю Генри, а компания уже анонсировала расширение штата специалистов под эти задачи.
reuters.com

✔️ NVIDIA RTX 60ХХ может задержаться до 2027 года.

По данным инсайдеров, следующее поколение потребительских видеокарт NVIDIA выйдет не раньше второй половины 2027 года. Это создаст беспрецедентный разрыв между релизами: учитывая выход серии RTX 50 в начале 2025-го, ожидание новинок растянется минимум на 30 месяцев — рекордный срок обновления для линейки GeForce.

Причиной задержки стал рост потребностей ИИ. Огромный спрос на компьют спровоцировал дефицит GDDR7 и скачок цен, из-за чего Micron пересмотрела приоритеты производства в ущерб потребительской памяти.

Ожидается, что будущая серия RTX 60ХХ будет базироваться на архитектуре Vera Rubin (GPU GR200). В качестве временной меры для насыщения рынка компания, по слухам, рассматривает повторный выпуск RTX 3060.
techspot.com

✔️ Gmail начинает переход на Gemini 3.

Google объявила о начале «эры Gemini» в своем почтовом сервисе. Главным нововведением стала система AI Overviews, заимствованная из поиска. В Gmail она выполняет 2 задачи: автоматически создает краткие выжимки из длинных цепочек писем и позволяет искать информацию через запросы.

Инструменты для написания писем также получили апгрейд. Функция Help Me Write для генерации и редактирования черновиков стала бесплатной для всех пользователей. Привычные шаблонные ответы заменили на Suggested Replies — они анализируют контекст переписки и пытаются имитировать стиль автора.

Параллельно, Google тестирует режим AI Inbox, который должен решить проблему перегруженных ящиков, автоматически выделяя приоритетные письма на основе истории взаимодействия с контактами. На данный момент эти обновления появляются у пользователей из США.
blog.google

✔️ Hugging Face запустила функцию «чата со статьями» для анализа публикаций.

Платформа интегрировала умного ассистента в раздел Hugging Face Papers. Теперь при просмотре любой научной работы доступен встроенный интерфейс на базе HuggingChat и собственного MCP-сервера.

Новый инструмент ускоряет процесс погружения в сложные исследования. Вместо полного чтения PDF можно попросить сделать саммари, объяснить ключевые концепции или найти конкретные данные внутри текста в режиме диалога.

Функция работает автоматически для всех ссылок на arXiv, размещенных на хабе.
huggingface.co

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
39👍25🔥12
📌 Андрей Карпаты нашел идеальный баланс токенов и параметров для обучения LLM.

Андрей Карпаты опубликовал результаты экспериментов по оптимизации претрейна языковых моделей в условиях фиксированного бюджета.

Чтобы найти наиболее эффективный способ расходования вычислительных ресурсов, он провел серию тестов на сервере с 8х GPU H100, обучив 11 моделей разного размера при одинаковых затратах на вычисления.

🟡Главный вывод: существует «золотое сечение».

Карпаты обнаружил, что по мере увеличения мощностей оптимальное количество параметров и тренировочных токенов растут синхронно. Эмпирическое правило для протестированных конфигураций: на 1 параметр модели должно приходиться примерно 8 токенов обучающей выборки.

Если модель слишком мала, она не усваивает достаточно информации; если слишком велика — бюджет заканчивается раньше, чем она успевает обучиться.

Для инженеров этот рецепт позволяет заранее планировать архитектуру и бюджет, избегая создания заведомо неэффективных моделей.

Традиционно, все эксперименты Андрея открыты и их можно повторить самостоятельно.

🔜 Погрузиться в детали экспериментов


@ai_machinelearning_big_data

#AI #ML #LLM #Karpathy
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
139🔥55👍19🥰18❤‍🔥5🙏5🤣4👏1
⚡️ DeepSeek выпустит V4 в феврале.

Китайская лаборатория планирует представить модель следующего поколения уже в середине февраля 2026 года, пишет The Information.

Релиз V4 будет приурочен к празднованию Китайского Нового года (с 15 по 23 февраля), а главным преимуществом новой модели заявлены "выдающиеся способности в программировании".

Источники издания утверждают, что внутренние бенчмарки показывают превосходство V4 над флагманскими решениями OpenAI и Anthropic в задачах написания кода.

Архитектура модели оптимизирована для эффективной утилизации аппаратных ресурсов и обработки длинных технических промптов.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14341🔥30🐳15👀5😁4🤣42
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI поглотила команду стартапа Convogo.

OpenAI начала год с приобретения: к компании присоединяется команда Convogo, платформы для автоматизации работы HR-специалистов и бизнес-коучей. Представители техгиганта подтвердили, что речь идет именно о трансфере талантов, а не о покупке технологий или интеллектуальной собственности.

Для OpenAI это уже 9-е приобретение за последний год. В прощальном письме команда Convogo отметила, что их главная экспертиза заключается в создании прикладных инструментов, которые превращают возможности нейросетей в реальные рабочие процессы — именно этим они и продолжат заниматься на новом месте.

Финансовые условия сделки не разглашаются, однако известно, что она была полностью оплачена акциями. Сам сервис Convogo будет закрыт.
finance.yahoo.com

✔️ Microsoft запустила Copilot Checkout.

Copilot Checkout - это реализация концепции агентной коммерции: полный цикл покупок от поиска и сравнения товаров до финальной оплаты не покидая окно чата и не переходя на внешние сайты магазинов.

Процессинг обеспечивают PayPal, Stripe и Shopify. Для последнего запущено агрессивное развертывание: продавцы подключаются к системе автоматически (с возможностью отказа), тогда как остальные могут интегрироваться через специальный Agentic Commerce Protocol.

Microsoft утверждает, что Copilot Checkout кардинально меняет воронку продаж, повышая конверсию целевых запросов на 194% по сравнению с классическим веб-серфингом.
microsoft.com

✔️ Акции MiniMax взлетели на 109% после дебюта на Гонконгской бирже.

Котировки ИИ-стартапа удвоились в первый день торгов на Гонконгской фондовой бирже, закрывшись на отметке 345 гонконгских долларов. В ходе IPO компания привлекла около $620 млн, значительно опередив локального соперника Zhipu AI (создателя моделей GLM), чьи акции в ходе первичного размещения днем ранее выросли лишь на 13%.

Китайские разработчики сумели опередить американских коллег, первыми выйдя на публичный рынок. Привлеченные средства пойдут на R&D, поскольку коммерциализация продуктов, по словам руководства MiniMax, всё ещё находится на ранней стадии.
cnbc.com

✔️ Глобальные вычислительные мощности ИИ превысили 15 млн. условных H100.

Epoch AI опубликовала базу данных по рынку чипов, согласно которой мировой парк ускорителей достиг производительности, эквивалентной 15 млн. Nvidia H100. В отчете зафиксирована смена поколений железа: основным драйвером выручки Nvidia стал новый чип B300, тогда как доля бывшего флагмана H100 упала ниже 10%.

Совокупное энергопотребление всего этого оборудования оценивается более чем в 10 ГВт. Для сравнения, это вдвое превышает потребности всего Нью-Йорка.

Авторы проекта собирали статистику по финансовым отчетам и оценкам аналитиков, чтобы добавить прозрачности индустрии, где вендоры редко раскрывают точные цифры продаж в штуках.
epoch.ai

✔️ Grok ограничил генерацию изображений для бесплатных аккаунтов.

Платформа отключила функцию создания картинок в Grok для большинства пользователей X после волны критики, связанной с массовой генерацией откровенного контента. Этот шаг стал вынужденной реакцией на давление регуляторов, включая прямые угрозы штрафов и возможной блокировки соцсети X в Великобритании.

Теперь инструменты генерации и редактирования доступны исключительно платным подписчикам. Расчет строится на деанонимизации: платформа хранит платежные данные премиум-клиентов, что упрощает идентификацию тех, кто создает запрещенный контент.
theguardian.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
80👍23🔥11😁5🤗1
📌Hyundai получила награду «Лучшая инновация в области робототехники» на CES 2026.

Мобильная платформа нового поколения, Mobile Eccentric Droid (MobED), признана лучшей инновацией года.

Эта платформа размером 74 на 115 сантиметров оснащена 4 колесами и уникальной системой стабилизации. Она использует технологию Drive and Lift, которая позволяет преодолевать роботу препятствия высотой до 20 сантиметров, уверенно ехать по склонам и "лежачим полицейским", сохраняя при этом горизонтальное положение корпуса.

MobED подготовлен к работе на улице. Он разгоняется до 10 км/ч и работает более 4 часов на одном заряде. В зависимости от модификации, он может везти на себе от 47 до 57 кг. груза.

Массовое производство стартует в первом квартале этого года. Hyundai предлагает две версии:

🟠MobED Basic - тренажер для разработчиков и исследовательских институтов. Вы получаете платформу и сами пишете под неё софт.

🟢MobED Pro - готовое решение для бизнеса. Здесь предустановлены технологии автономного вождения. Система использует ИИ и сенсоры, объединяющие LiDAR и камеры. Управлять таким роботом можно удаленно — интерфейс сделали максимально интуитивным.

Представитель Hyundai Robotics Lab отметил, что эта награда - переход от концептов к реальным продуктам, которые меняют нашу повседневную жизнь.

Напомним, концепт MobED впервые показали еще на CES 2022, и вот, спустя почти 4 года, мы видим серийную модель.

Кстати, в Hyundai говорят, что если масштабировать эту технологию и увеличить грузоподъемность, в будущем мы получим персональный транспорт для человека — нечто среднее между роботом и автомобилем.



@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6726🔥9🥱8
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 DroPE: как расширить контекст LLM, просто “выкинув” позиционные эмбеддинги (механизм, который говорит трансформеру в каком порядке идут токены.)

Sakana AI выпустили DroPE - метод, который позволяет увеличить контекст у уже предобученных LLM без привычных адских затрат на long-context fine-tuning.

Идея звучит как ересь, но результаты говорят об обратном .

💡 Главный инсайт :
Позиционные эмбеддинги (например RoPE) жизненно важны, чтобы модель нормально обучилась и сошлась.Но после обучения они же становятся главным ограничителем, из-за которого модель плохо переносит контекст длиннее, чем видела на трейне.

То есть:
- для обучения - нужны
- для генерализации на очень длинные последовательности - мешают

📌 Решение DroPE
Авторы предлагают относиться к позиционным эмбеддингам как к временным “строительным лесам”:
- в pretraining они дают стабильность
- после обучения их можно сбросить (drop)
- и получить zero-shot length extrapolation (модель начинает заметно лучше работать на длинах, которых не видела)

Большие контексты нужны пользователям :
- огромные code diff и монорепы
- юридические контракты на сотни страниц
- аналитика логов и документов без разбиения на чанки

Именно тут многие стандартные модели начинают “ломаться” просто потому что контекст слишком длинный.

Результаты:

DroPE проверили на разных open-source моделях:
- калибровка занимает <1% бюджета от исходного pretraining
- а качество на long-context задачах заметно лучше популярных подходов
- сильные результаты на LongBench и RULER

Позиционка нужна, чтобы обучить модель, но может быть лишней, чтобы мыслить длинно

Возможно RoPE - не “обязательная часть архитектуры”, а просто инструмент для стабильного обучения.

📄 Paper: arxiv.org/abs/2512.12167
🔧 Code: github.com/SakanaAI/DroPE

@ai_machinelearning_big_data

#sakana #ai #ml #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🔥3824🤔12🤗3
Media is too big
VIEW IN TELEGRAM
🌟 Голографический ИИ-компаньон на базе Grok от Razer.

На CES 2026 Razer анонсировала Project AVA - аппаратного ИИ-ассистента в форм-факторе настольной капсулы с прозрачным дисплеем.

Устройство проецирует 14-сантиметрового 3D анимированного аватара и использует языковую модель Grok от xAI, при этом архитектура системы предполагает возможность подключения других LLM-провайдеров в будущем.

Техническая реализация выходит за рамки простого чат-бота: встроенная камера и массив микрофонов AVA способны воспринимать визуальный и аудио-контекст.

Ассистент в реальном времени наблюдает за происходящим на мониторе пользователя, что позволяет ему выступать в роли игрового коуча, давая тактические советы, или помогать в рабочих задачах.

Пользователи смогут настраивать визуализацию помощника, выбирая между личностями Grok, аниме-персонажами или цифровыми копиями киберспортсменов.

Поставки устройства ожидаются в конце 2026 года, а пока Razer открыла предзаказ для США с внесением возвратного депозита в 20 долларов. Окончательная стоимость устройства пока не объявлена.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
47👍24🔥19🤣5🗿3🥱2🐳1🫡1
⚡️ DeepSeek Engram: условная память LLM через поиск.

DeepSeek опять шатают устои архитектуры трансформеров свежайшим пейпером, который доказывает, что новое — это хорошо и очень хитро забытое старое.

Пока все пытаются запихнуть в LLM как можно больше слоев и параметров, DeepSeek задались вопросом: зачем тратить дорогой компьют на запоминание фактов, если их можно просто подсмотреть? Знакомьтесь:

🟡Engram — модуль, который возвращает нас к дедам с N-грамами.

DeepSeek предлагает разделить "думалку" (MoE-слои) и "хранилище знаний" (Engram):

🟢Hashed N-grams: модуль смотрит на входящий текст и нарезает его на N-грамы (последовательности токенов).

🟢O(1) Lookup: система делает мгновенный запрос в гигантскую хэш-таблицу эмбеддингов - это чисто статический поиск.

🟢Context-Aware Gating: самый сок. Модель не просто слепо берет данные из "хранилища знаний" - специальный гейтинг-механизм решает: "Нам сейчас нужен факт из памяти или будем думать сами?". Если найденный N-грам релевантен контексту, он подмешивается в скрытое состояние.

🟢Tokenizer Compression: чтобы хранилище знаний не лопнуло от мусора, похожие токены в нем схлопывают в один ID, например, "Apple" и "apple".

🟡Баланс распределения ресурсов.

Чтобы правильно поделить бюджет параметров между MoE и Engram посчитали сценарии масштабирования. График лосса от соотношения этих частей выглядит как буква U:

🟠Перекос в MoE (100% вычислений): модель тратит дорогие слои внимания на запоминание статики. Это неэффективно, лосс высокий.

🟠Перекос в Память (0% вычислений): модель превращается в гигантскую википедию. Она помнит факты, но у нее напрочь атрофируется ризонинг. Лосс тоже высокий.

🟢Золотая середина (дно U-кривой): 80% MoE и ~20% Engram.

🟡Тесты и результаты.

DeepSeek обучили модель Engram-27B и сравнили ее с классической MoE-27B при одинаковом бюджете параметров и FLOPs. Итоги:

Общее качество подросло: MMLU +3.4 пункта, HumanEval (код) +3.0.

На длинном контексте - разнос. В тесте на поиск иголки (NIAH) точность выросла с 84.2 до 97.0. Модель разгрузила слои внимания от запоминания локальных паттернов, и оно сфокусировалось на глобальном контексте.

Модель быстрее сходится. Engram берет на себя рутину в ранних слоях, тем самым позволяя модели сразу учиться сложным вещам.


🟡Архитектурный нюанс.

Таблица эмбеддингов для Engram может быть запредельно огромной (в пейпере разгоняли до 100B параметров) и, очевидно, в VRAM это не влезает.

Решили так: раз ID токенов известен до прогона слоя, то эти данные можно хранить в RAM и асинхронно подтягивать. В реале, оверхед от этой механики показал меньше 3%., т.е. мы получаем модель, которая знает больше, чем влезает в GPU, используя оперативку сервера.

🟡DeepSeek фактически легализовала подобие шпаргалок для LLM.

Вместо того чтобы заставлять модель учить все наизусть, ей дают гигантский справочник. Теоретически, это открывает путь к прекрасному ИИ светлого будущего, который может иметь условно-бесконечную память, ограниченную только объемом оперативки, а не VRAM.

Похоже, в V4 мы увидим как эта схема работает, ведь инсайдеры обещают у нее запредельные скилы.


🟡Техотчет
🖥Github

@ai_machinelearning_big_data

#AI #ML #LLM #Engram #Deepseek
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
130👍59🔥46🥰4🤔2
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic выходит на медицинский рынок с Claude for Healthcare.

Вслед за анонсом от OpenAI, Anthropic представила Claude for Healthcare, который открывает доступ к ИИ-ассистенту для врачей, страховых компаний и пациентов. Claude получил прямую интеграцию с медицинскими реестрами США и архивом публикаций PubMed.

Пользователи тарифов Pro и Max могут подключить свои медицинские данные через HealthEx и Function Health (поддержку Apple HealthKit и Android Health Connect обещают позже).
anthropic.com

✔️ Apple переводит свой ИИ-ландшафт на Gemini.

Компания заключила многолетнее соглашение с Google на использование моделей Gemini и облачной инфраструктуры для своих будущих продуктов.

Решение продиктовано серьезными проблемами с текущим бэкендом голосового ассистента. Внутренние источники описывают Siri как крайне фрагментированную систему из устаревших компонентов, основанных на жестких правилах и попытках внедрить новые генеративные модели. Такой гибрид сложно поддерживать и масштабировать.

Инженеры Apple продолжат работу над собственной LLM-архитектурой и моделью с триллионом параметров, рассчитывая в будущем вернуть полный контроль над технологическим стеком.
cnbc.com

✔️ Google представила открытый протокол для коммерции.

Universal Commerce Protocol — новый отраслевой стандарт для превращения ИИ-ассистентов в полноценных участников торговли. В разработке протокола принимали участие Shopify, Etsy и Walmart. UCP унифицирует поиск товаров, оформление заказов и пост-продажное обслуживание.

Первые внедрения UCP начнутся в США: интеграция появится в поисковых ИИ-моделях и приложении Gemini. Это позволит совершать покупки с помощью Google Pay (а позже и с PayPal) без перехода на сайты магазинов.

Ритейлеры же смогут предлагать динамические скидки прямо в рекомендациях и использовать ИИ-агентов для клиентской поддержки.
blog.google

✔️ Gemini API научился напрямую работать с файлами из Google Cloud Storage и внешних URL.

Google выпустила обновление для Gemini API, которое существенно упрощает пайплайны передачи данных - больше не нужно предварительно загружать тяжелые файлы во временное хранилище Files API.

Теперь система поддерживает прямую интеграцию с Google Cloud Storage (GCS) и внешними ссылками. Для доступа к данным на сторонних облачных платформах можно использовать URL и API самостоятельно подтянет нужный контент в момент обработки запроса.

Помимо этого, Google в 5 раз увеличила лимит на загрузку — максимальный размер файла вырос с 20 МБ до 100 МБ.
Google AI Studio в сети Х

✔️ Midjourney выпустила аниме-модель Niji 7.

Это первое мажорное обновление ветки за последние полтора года. Модель получила резкий скачок визуальной связности: разработчики устранили проблемы с прорисовкой лиц и физикой бликов в глазах.

Помимо эстетики, в модели обновилось логическое ядро. Niji 7 лучше и буквальнее понимает сложные промпты, спецификации по цветам и нетривиальную анатомию.

Midjourney заявила улучшение работы --sref: функция теперь пригодна для профессионального создания консистентных персонажей.
Обновление уже доступно в веб-интерфейсе и Discord.
Midjourney в сети Х

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6737👍25🥰6❤‍🔥1🤗1
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic запустила режим Cowork.

Anthropic переносит агентные возможности Claude Code в массовый сегмент с новой функцией Cowork. Суть нововведения - сдвиг парадигмы от чат-бота к исполнительному ассистенту.

Режим позволяет Claude самостоятельно читать, редактировать и создавать файлы в доверенной директории, не требуя постоянного копипаста в диалоговое окно. Сценарии использования варьируются от наведения порядка в папке до конвертации скриншотов в таблицы и подготовки презентаций на основе заметок. Технически функция базируется на Claude Agent SDK и интегрируется с браузером через Claude in Chrome.

На старте Cowork доступен в Research Preview только для подписчиков Claude Max в приложении для macOS. Версию для Windows и синхронизацию между устройствами обещают добавить в будущих обновлениях.
claude.com

✔️ Марк Цукерберг формирует подразделение для строительства инфраструктуры.

Задача нового подразделения — обеспечить компанию десятками гигаватт энергетических и вычислительных мощностей в текущем десятилетии, с прицелом на сотни гигаватт в долгосрочной перспективе. Глава техно-гиганта считает способность быстро возводить физическую инфраструктуру главным стратегическим преимуществом перед конкурентами по бигтеху.

Руководить направлением будут Сантош Джанардхан (глава глобальной инфраструктуры) и Дэниел Гросс (сооснователь Safe Superintelligence). Их работу будет курировать президент компании Дина Пауэлл Маккормик, чья роль — наладить диалог с правительствами и суверенными фондами.

Создание отдельной структуры формализует планы по инвестированию $600 млрд. в инфраструктуру США к 2028 году.
axios.com

✔️ NVIDIA и Eli Lilly запустят ИИ-лабораторию для поиска новых лекарств.

Компании объявили о создании совместного центра инноваций, в котором будут интегрировать биологические исследования с высокопроизводительными вычислениями на NVIDIA Vera Rubin и платформе BioNeMo.

Особенность пятилетнего проекта — реализация концепции «Lab-in-the-Loop». Это замкнутый цикл непрерывного обучения: роботизированные лаборатории будут генерировать экспериментальные данные в режиме 24/7, мгновенно передавая их для дообучения и калибровки нейросетей. Запуск объекта намечен на март 2026 года.
nvidia.com

✔️ В Nano Banana сгенерировали 1 млрд. изображений.

Вице-президент Goggle Джош Вудвард отчитался в сети Х о востребованности Nano Banana Pro (официальное название — Gemini 3 Pro Image). С момента релиза 20 ноября пользователи создали с её помощью более миллиарда изображений.

Драйвер роста - способность модели корректно генерировать текст на множестве языков и наличие инструментов контроля: освещения, фокуса и ракурсов камеры. В декабре была добавлена возможность редактирования изображений через рисование поверх них с текстовыми подсказками.

Модель по-прежнему доступна всем: на бесплатный тарифе дают 3 генерации Pro-уровня в день, а на премиальных тарифах лимиты расширены до 1000 генераций в сутки.
9to5google.com

✔️Агент Manus научился оцифровывать очные встречи.

Manus представил Meeting Minutes - функцию для запись живых диалогов, интервью и брейнштормов в оффлайне. Система может вести запись без интернета, выполняя обработку данных после восстановления соединения. ИИ автоматически распознает спикеров, выделяет ключевые тезисы и формирует список задач.

Главной фишкой стала бесшовная интеграция с агентом: можно в один клик трансформировать итоги встречи в слайд-дек, текстовые заметки или подготовить документацию прямо внутри диалога с Manus.

Функцию уже раскатали - запись встреч бесплатна, а вот аналитика расходует внутренние кредиты.
manus.im


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
41👍17🔥7🤗5💘1
🌟 NVIDIA переизобретает память: LLM, которые доучиваются прямо во время инференса

Контекстные окна растут, но тут два стула: либо классическое внимание, которое питается памятью и компьютит как не в себя, либо RNN-подобные Mamba, DeltaNet, которые работают быстро, но в длинном контексте начинают плыть и терять детали.

NVIDIA предлагает решение, которое пытается усидеть на обоих стульях сразу - Test-Time Training with End-to-End formulation (TTT-E2E):

Обычно веса модели заморожены после тренировки. Когда вы скармливаете ей данные, она просто держит её в KV-кэше. В TTT все по-другому: контекст — это и есть обучающий датасет. Пока модель читает ваш промпт (контекст), она обновляет свои веса (если точнее - делает градиентный спуск прямо на лету), тем самым, инфа из контекста впекается в саму модель. Это позволяет сжать гигантские объемы в фиксированный размер состояния, не раздувая KV-кэш до небес.

🟡В результате - красота и волшебство:

🟢Латентность инференса становится константной. Неважно, 100 токенов в контексте или миллион — время генерации следующего токена одинаковое.

🟢На контексте 128k токенов — ускорение в 2.7x по сравнению с Attention (на H100). На 2M токенов — ускорение в 35 раз.

🟢В отличие от Mamba и других RNN, качество не проседает на длинных дистанциях. TTT держит планку на уровне полного внимания.

🟡Разумеется, есть куча пунктов со звездочкой

🟠Трейн - сложный. Чтобы модель могла так лихо учиться на лету, её нужно спечиальным образом претрейнить. Этот процесс сейчас в 3.4x медленнее, чем обычное обучение.

🟠Метод требует вычисления градиентов от градиентов во время обучения. FlashAttention из коробки сейчас это не поддерживает, нужны кастомные ядра или костыли.

🟠Cам процесс поедания контекста при инференсе требует вычислений во время префилл-фазы.

По итогу, NVIDIA сравнивает RAG с блокнотом, а свой TTT — с реальным обновлением нейронных связей мозга. Если есть желание покопаться в методике и проникнуться идеей - код и пейпер в открытом доступе.


🟡Статья
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #TTTE2E #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9841🔥23🥰5🤨3👌1🗿1