358K subscribers
4.51K photos
900 videos
17 files
4.96K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
📌 Андрей Карпаты нашел идеальный баланс токенов и параметров для обучения LLM.

Андрей Карпаты опубликовал результаты экспериментов по оптимизации претрейна языковых моделей в условиях фиксированного бюджета.

Чтобы найти наиболее эффективный способ расходования вычислительных ресурсов, он провел серию тестов на сервере с 8х GPU H100, обучив 11 моделей разного размера при одинаковых затратах на вычисления.

🟡Главный вывод: существует «золотое сечение».

Карпаты обнаружил, что по мере увеличения мощностей оптимальное количество параметров и тренировочных токенов растут синхронно. Эмпирическое правило для протестированных конфигураций: на 1 параметр модели должно приходиться примерно 8 токенов обучающей выборки.

Если модель слишком мала, она не усваивает достаточно информации; если слишком велика — бюджет заканчивается раньше, чем она успевает обучиться.

Для инженеров этот рецепт позволяет заранее планировать архитектуру и бюджет, избегая создания заведомо неэффективных моделей.

Традиционно, все эксперименты Андрея открыты и их можно повторить самостоятельно.

🔜 Погрузиться в детали экспериментов


@ai_machinelearning_big_data

#AI #ML #LLM #Karpathy
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
139🔥55👍19🥰18❤‍🔥5🙏5🤣4👏1
⚡️ DeepSeek выпустит V4 в феврале.

Китайская лаборатория планирует представить модель следующего поколения уже в середине февраля 2026 года, пишет The Information.

Релиз V4 будет приурочен к празднованию Китайского Нового года (с 15 по 23 февраля), а главным преимуществом новой модели заявлены "выдающиеся способности в программировании".

Источники издания утверждают, что внутренние бенчмарки показывают превосходство V4 над флагманскими решениями OpenAI и Anthropic в задачах написания кода.

Архитектура модели оптимизирована для эффективной утилизации аппаратных ресурсов и обработки длинных технических промптов.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14241🔥30🐳15👀5😁4🤣42
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI поглотила команду стартапа Convogo.

OpenAI начала год с приобретения: к компании присоединяется команда Convogo, платформы для автоматизации работы HR-специалистов и бизнес-коучей. Представители техгиганта подтвердили, что речь идет именно о трансфере талантов, а не о покупке технологий или интеллектуальной собственности.

Для OpenAI это уже 9-е приобретение за последний год. В прощальном письме команда Convogo отметила, что их главная экспертиза заключается в создании прикладных инструментов, которые превращают возможности нейросетей в реальные рабочие процессы — именно этим они и продолжат заниматься на новом месте.

Финансовые условия сделки не разглашаются, однако известно, что она была полностью оплачена акциями. Сам сервис Convogo будет закрыт.
finance.yahoo.com

✔️ Microsoft запустила Copilot Checkout.

Copilot Checkout - это реализация концепции агентной коммерции: полный цикл покупок от поиска и сравнения товаров до финальной оплаты не покидая окно чата и не переходя на внешние сайты магазинов.

Процессинг обеспечивают PayPal, Stripe и Shopify. Для последнего запущено агрессивное развертывание: продавцы подключаются к системе автоматически (с возможностью отказа), тогда как остальные могут интегрироваться через специальный Agentic Commerce Protocol.

Microsoft утверждает, что Copilot Checkout кардинально меняет воронку продаж, повышая конверсию целевых запросов на 194% по сравнению с классическим веб-серфингом.
microsoft.com

✔️ Акции MiniMax взлетели на 109% после дебюта на Гонконгской бирже.

Котировки ИИ-стартапа удвоились в первый день торгов на Гонконгской фондовой бирже, закрывшись на отметке 345 гонконгских долларов. В ходе IPO компания привлекла около $620 млн, значительно опередив локального соперника Zhipu AI (создателя моделей GLM), чьи акции в ходе первичного размещения днем ранее выросли лишь на 13%.

Китайские разработчики сумели опередить американских коллег, первыми выйдя на публичный рынок. Привлеченные средства пойдут на R&D, поскольку коммерциализация продуктов, по словам руководства MiniMax, всё ещё находится на ранней стадии.
cnbc.com

✔️ Глобальные вычислительные мощности ИИ превысили 15 млн. условных H100.

Epoch AI опубликовала базу данных по рынку чипов, согласно которой мировой парк ускорителей достиг производительности, эквивалентной 15 млн. Nvidia H100. В отчете зафиксирована смена поколений железа: основным драйвером выручки Nvidia стал новый чип B300, тогда как доля бывшего флагмана H100 упала ниже 10%.

Совокупное энергопотребление всего этого оборудования оценивается более чем в 10 ГВт. Для сравнения, это вдвое превышает потребности всего Нью-Йорка.

Авторы проекта собирали статистику по финансовым отчетам и оценкам аналитиков, чтобы добавить прозрачности индустрии, где вендоры редко раскрывают точные цифры продаж в штуках.
epoch.ai

✔️ Grok ограничил генерацию изображений для бесплатных аккаунтов.

Платформа отключила функцию создания картинок в Grok для большинства пользователей X после волны критики, связанной с массовой генерацией откровенного контента. Этот шаг стал вынужденной реакцией на давление регуляторов, включая прямые угрозы штрафов и возможной блокировки соцсети X в Великобритании.

Теперь инструменты генерации и редактирования доступны исключительно платным подписчикам. Расчет строится на деанонимизации: платформа хранит платежные данные премиум-клиентов, что упрощает идентификацию тех, кто создает запрещенный контент.
theguardian.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
80👍23🔥11😁5🤗1
📌Hyundai получила награду «Лучшая инновация в области робототехники» на CES 2026.

Мобильная платформа нового поколения, Mobile Eccentric Droid (MobED), признана лучшей инновацией года.

Эта платформа размером 74 на 115 сантиметров оснащена 4 колесами и уникальной системой стабилизации. Она использует технологию Drive and Lift, которая позволяет преодолевать роботу препятствия высотой до 20 сантиметров, уверенно ехать по склонам и "лежачим полицейским", сохраняя при этом горизонтальное положение корпуса.

MobED подготовлен к работе на улице. Он разгоняется до 10 км/ч и работает более 4 часов на одном заряде. В зависимости от модификации, он может везти на себе от 47 до 57 кг. груза.

Массовое производство стартует в первом квартале этого года. Hyundai предлагает две версии:

🟠MobED Basic - тренажер для разработчиков и исследовательских институтов. Вы получаете платформу и сами пишете под неё софт.

🟢MobED Pro - готовое решение для бизнеса. Здесь предустановлены технологии автономного вождения. Система использует ИИ и сенсоры, объединяющие LiDAR и камеры. Управлять таким роботом можно удаленно — интерфейс сделали максимально интуитивным.

Представитель Hyundai Robotics Lab отметил, что эта награда - переход от концептов к реальным продуктам, которые меняют нашу повседневную жизнь.

Напомним, концепт MobED впервые показали еще на CES 2022, и вот, спустя почти 4 года, мы видим серийную модель.

Кстати, в Hyundai говорят, что если масштабировать эту технологию и увеличить грузоподъемность, в будущем мы получим персональный транспорт для человека — нечто среднее между роботом и автомобилем.



@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6726🔥9🥱8
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 DroPE: как расширить контекст LLM, просто “выкинув” позиционные эмбеддинги (механизм, который говорит трансформеру в каком порядке идут токены.)

Sakana AI выпустили DroPE - метод, который позволяет увеличить контекст у уже предобученных LLM без привычных адских затрат на long-context fine-tuning.

Идея звучит как ересь, но результаты говорят об обратном .

💡 Главный инсайт :
Позиционные эмбеддинги (например RoPE) жизненно важны, чтобы модель нормально обучилась и сошлась.Но после обучения они же становятся главным ограничителем, из-за которого модель плохо переносит контекст длиннее, чем видела на трейне.

То есть:
- для обучения - нужны
- для генерализации на очень длинные последовательности - мешают

📌 Решение DroPE
Авторы предлагают относиться к позиционным эмбеддингам как к временным “строительным лесам”:
- в pretraining они дают стабильность
- после обучения их можно сбросить (drop)
- и получить zero-shot length extrapolation (модель начинает заметно лучше работать на длинах, которых не видела)

Большие контексты нужны пользователям :
- огромные code diff и монорепы
- юридические контракты на сотни страниц
- аналитика логов и документов без разбиения на чанки

Именно тут многие стандартные модели начинают “ломаться” просто потому что контекст слишком длинный.

Результаты:

DroPE проверили на разных open-source моделях:
- калибровка занимает <1% бюджета от исходного pretraining
- а качество на long-context задачах заметно лучше популярных подходов
- сильные результаты на LongBench и RULER

Позиционка нужна, чтобы обучить модель, но может быть лишней, чтобы мыслить длинно

Возможно RoPE - не “обязательная часть архитектуры”, а просто инструмент для стабильного обучения.

📄 Paper: arxiv.org/abs/2512.12167
🔧 Code: github.com/SakanaAI/DroPE

@ai_machinelearning_big_data

#sakana #ai #ml #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🔥3724🤔12🤗3
Media is too big
VIEW IN TELEGRAM
🌟 Голографический ИИ-компаньон на базе Grok от Razer.

На CES 2026 Razer анонсировала Project AVA - аппаратного ИИ-ассистента в форм-факторе настольной капсулы с прозрачным дисплеем.

Устройство проецирует 14-сантиметрового 3D анимированного аватара и использует языковую модель Grok от xAI, при этом архитектура системы предполагает возможность подключения других LLM-провайдеров в будущем.

Техническая реализация выходит за рамки простого чат-бота: встроенная камера и массив микрофонов AVA способны воспринимать визуальный и аудио-контекст.

Ассистент в реальном времени наблюдает за происходящим на мониторе пользователя, что позволяет ему выступать в роли игрового коуча, давая тактические советы, или помогать в рабочих задачах.

Пользователи смогут настраивать визуализацию помощника, выбирая между личностями Grok, аниме-персонажами или цифровыми копиями киберспортсменов.

Поставки устройства ожидаются в конце 2026 года, а пока Razer открыла предзаказ для США с внесением возвратного депозита в 20 долларов. Окончательная стоимость устройства пока не объявлена.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
47👍24🔥19🤣5🗿3🥱2🐳1🫡1
⚡️ DeepSeek Engram: условная память LLM через поиск.

DeepSeek опять шатают устои архитектуры трансформеров свежайшим пейпером, который доказывает, что новое — это хорошо и очень хитро забытое старое.

Пока все пытаются запихнуть в LLM как можно больше слоев и параметров, DeepSeek задались вопросом: зачем тратить дорогой компьют на запоминание фактов, если их можно просто подсмотреть? Знакомьтесь:

🟡Engram — модуль, который возвращает нас к дедам с N-грамами.

DeepSeek предлагает разделить "думалку" (MoE-слои) и "хранилище знаний" (Engram):

🟢Hashed N-grams: модуль смотрит на входящий текст и нарезает его на N-грамы (последовательности токенов).

🟢O(1) Lookup: система делает мгновенный запрос в гигантскую хэш-таблицу эмбеддингов - это чисто статический поиск.

🟢Context-Aware Gating: самый сок. Модель не просто слепо берет данные из "хранилища знаний" - специальный гейтинг-механизм решает: "Нам сейчас нужен факт из памяти или будем думать сами?". Если найденный N-грам релевантен контексту, он подмешивается в скрытое состояние.

🟢Tokenizer Compression: чтобы хранилище знаний не лопнуло от мусора, похожие токены в нем схлопывают в один ID, например, "Apple" и "apple".

🟡Баланс распределения ресурсов.

Чтобы правильно поделить бюджет параметров между MoE и Engram посчитали сценарии масштабирования. График лосса от соотношения этих частей выглядит как буква U:

🟠Перекос в MoE (100% вычислений): модель тратит дорогие слои внимания на запоминание статики. Это неэффективно, лосс высокий.

🟠Перекос в Память (0% вычислений): модель превращается в гигантскую википедию. Она помнит факты, но у нее напрочь атрофируется ризонинг. Лосс тоже высокий.

🟢Золотая середина (дно U-кривой): 80% MoE и ~20% Engram.

🟡Тесты и результаты.

DeepSeek обучили модель Engram-27B и сравнили ее с классической MoE-27B при одинаковом бюджете параметров и FLOPs. Итоги:

Общее качество подросло: MMLU +3.4 пункта, HumanEval (код) +3.0.

На длинном контексте - разнос. В тесте на поиск иголки (NIAH) точность выросла с 84.2 до 97.0. Модель разгрузила слои внимания от запоминания локальных паттернов, и оно сфокусировалось на глобальном контексте.

Модель быстрее сходится. Engram берет на себя рутину в ранних слоях, тем самым позволяя модели сразу учиться сложным вещам.


🟡Архитектурный нюанс.

Таблица эмбеддингов для Engram может быть запредельно огромной (в пейпере разгоняли до 100B параметров) и, очевидно, в VRAM это не влезает.

Решили так: раз ID токенов известен до прогона слоя, то эти данные можно хранить в RAM и асинхронно подтягивать. В реале, оверхед от этой механики показал меньше 3%., т.е. мы получаем модель, которая знает больше, чем влезает в GPU, используя оперативку сервера.

🟡DeepSeek фактически легализовала подобие шпаргалок для LLM.

Вместо того чтобы заставлять модель учить все наизусть, ей дают гигантский справочник. Теоретически, это открывает путь к прекрасному ИИ светлого будущего, который может иметь условно-бесконечную память, ограниченную только объемом оперативки, а не VRAM.

Похоже, в V4 мы увидим как эта схема работает, ведь инсайдеры обещают у нее запредельные скилы.


🟡Техотчет
🖥Github

@ai_machinelearning_big_data

#AI #ML #LLM #Engram #Deepseek
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
128👍59🔥46🥰4🤔2
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic выходит на медицинский рынок с Claude for Healthcare.

Вслед за анонсом от OpenAI, Anthropic представила Claude for Healthcare, который открывает доступ к ИИ-ассистенту для врачей, страховых компаний и пациентов. Claude получил прямую интеграцию с медицинскими реестрами США и архивом публикаций PubMed.

Пользователи тарифов Pro и Max могут подключить свои медицинские данные через HealthEx и Function Health (поддержку Apple HealthKit и Android Health Connect обещают позже).
anthropic.com

✔️ Apple переводит свой ИИ-ландшафт на Gemini.

Компания заключила многолетнее соглашение с Google на использование моделей Gemini и облачной инфраструктуры для своих будущих продуктов.

Решение продиктовано серьезными проблемами с текущим бэкендом голосового ассистента. Внутренние источники описывают Siri как крайне фрагментированную систему из устаревших компонентов, основанных на жестких правилах и попытках внедрить новые генеративные модели. Такой гибрид сложно поддерживать и масштабировать.

Инженеры Apple продолжат работу над собственной LLM-архитектурой и моделью с триллионом параметров, рассчитывая в будущем вернуть полный контроль над технологическим стеком.
cnbc.com

✔️ Google представила открытый протокол для коммерции.

Universal Commerce Protocol — новый отраслевой стандарт для превращения ИИ-ассистентов в полноценных участников торговли. В разработке протокола принимали участие Shopify, Etsy и Walmart. UCP унифицирует поиск товаров, оформление заказов и пост-продажное обслуживание.

Первые внедрения UCP начнутся в США: интеграция появится в поисковых ИИ-моделях и приложении Gemini. Это позволит совершать покупки с помощью Google Pay (а позже и с PayPal) без перехода на сайты магазинов.

Ритейлеры же смогут предлагать динамические скидки прямо в рекомендациях и использовать ИИ-агентов для клиентской поддержки.
blog.google

✔️ Gemini API научился напрямую работать с файлами из Google Cloud Storage и внешних URL.

Google выпустила обновление для Gemini API, которое существенно упрощает пайплайны передачи данных - больше не нужно предварительно загружать тяжелые файлы во временное хранилище Files API.

Теперь система поддерживает прямую интеграцию с Google Cloud Storage (GCS) и внешними ссылками. Для доступа к данным на сторонних облачных платформах можно использовать URL и API самостоятельно подтянет нужный контент в момент обработки запроса.

Помимо этого, Google в 5 раз увеличила лимит на загрузку — максимальный размер файла вырос с 20 МБ до 100 МБ.
Google AI Studio в сети Х

✔️ Midjourney выпустила аниме-модель Niji 7.

Это первое мажорное обновление ветки за последние полтора года. Модель получила резкий скачок визуальной связности: разработчики устранили проблемы с прорисовкой лиц и физикой бликов в глазах.

Помимо эстетики, в модели обновилось логическое ядро. Niji 7 лучше и буквальнее понимает сложные промпты, спецификации по цветам и нетривиальную анатомию.

Midjourney заявила улучшение работы --sref: функция теперь пригодна для профессионального создания консистентных персонажей.
Обновление уже доступно в веб-интерфейсе и Discord.
Midjourney в сети Х

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6737👍25🥰6❤‍🔥1🤗1
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic запустила режим Cowork.

Anthropic переносит агентные возможности Claude Code в массовый сегмент с новой функцией Cowork. Суть нововведения - сдвиг парадигмы от чат-бота к исполнительному ассистенту.

Режим позволяет Claude самостоятельно читать, редактировать и создавать файлы в доверенной директории, не требуя постоянного копипаста в диалоговое окно. Сценарии использования варьируются от наведения порядка в папке до конвертации скриншотов в таблицы и подготовки презентаций на основе заметок. Технически функция базируется на Claude Agent SDK и интегрируется с браузером через Claude in Chrome.

На старте Cowork доступен в Research Preview только для подписчиков Claude Max в приложении для macOS. Версию для Windows и синхронизацию между устройствами обещают добавить в будущих обновлениях.
claude.com

✔️ Марк Цукерберг формирует подразделение для строительства инфраструктуры.

Задача нового подразделения — обеспечить компанию десятками гигаватт энергетических и вычислительных мощностей в текущем десятилетии, с прицелом на сотни гигаватт в долгосрочной перспективе. Глава техно-гиганта считает способность быстро возводить физическую инфраструктуру главным стратегическим преимуществом перед конкурентами по бигтеху.

Руководить направлением будут Сантош Джанардхан (глава глобальной инфраструктуры) и Дэниел Гросс (сооснователь Safe Superintelligence). Их работу будет курировать президент компании Дина Пауэлл Маккормик, чья роль — наладить диалог с правительствами и суверенными фондами.

Создание отдельной структуры формализует планы по инвестированию $600 млрд. в инфраструктуру США к 2028 году.
axios.com

✔️ NVIDIA и Eli Lilly запустят ИИ-лабораторию для поиска новых лекарств.

Компании объявили о создании совместного центра инноваций, в котором будут интегрировать биологические исследования с высокопроизводительными вычислениями на NVIDIA Vera Rubin и платформе BioNeMo.

Особенность пятилетнего проекта — реализация концепции «Lab-in-the-Loop». Это замкнутый цикл непрерывного обучения: роботизированные лаборатории будут генерировать экспериментальные данные в режиме 24/7, мгновенно передавая их для дообучения и калибровки нейросетей. Запуск объекта намечен на март 2026 года.
nvidia.com

✔️ В Nano Banana сгенерировали 1 млрд. изображений.

Вице-президент Goggle Джош Вудвард отчитался в сети Х о востребованности Nano Banana Pro (официальное название — Gemini 3 Pro Image). С момента релиза 20 ноября пользователи создали с её помощью более миллиарда изображений.

Драйвер роста - способность модели корректно генерировать текст на множестве языков и наличие инструментов контроля: освещения, фокуса и ракурсов камеры. В декабре была добавлена возможность редактирования изображений через рисование поверх них с текстовыми подсказками.

Модель по-прежнему доступна всем: на бесплатный тарифе дают 3 генерации Pro-уровня в день, а на премиальных тарифах лимиты расширены до 1000 генераций в сутки.
9to5google.com

✔️Агент Manus научился оцифровывать очные встречи.

Manus представил Meeting Minutes - функцию для запись живых диалогов, интервью и брейнштормов в оффлайне. Система может вести запись без интернета, выполняя обработку данных после восстановления соединения. ИИ автоматически распознает спикеров, выделяет ключевые тезисы и формирует список задач.

Главной фишкой стала бесшовная интеграция с агентом: можно в один клик трансформировать итоги встречи в слайд-дек, текстовые заметки или подготовить документацию прямо внутри диалога с Manus.

Функцию уже раскатали - запись встреч бесплатна, а вот аналитика расходует внутренние кредиты.
manus.im


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
40👍17🔥7🤗5💘1
🌟 NVIDIA переизобретает память: LLM, которые доучиваются прямо во время инференса

Контекстные окна растут, но тут два стула: либо классическое внимание, которое питается памятью и компьютит как не в себя, либо RNN-подобные Mamba, DeltaNet, которые работают быстро, но в длинном контексте начинают плыть и терять детали.

NVIDIA предлагает решение, которое пытается усидеть на обоих стульях сразу - Test-Time Training with End-to-End formulation (TTT-E2E):

Обычно веса модели заморожены после тренировки. Когда вы скармливаете ей данные, она просто держит её в KV-кэше. В TTT все по-другому: контекст — это и есть обучающий датасет. Пока модель читает ваш промпт (контекст), она обновляет свои веса (если точнее - делает градиентный спуск прямо на лету), тем самым, инфа из контекста впекается в саму модель. Это позволяет сжать гигантские объемы в фиксированный размер состояния, не раздувая KV-кэш до небес.

🟡В результате - красота и волшебство:

🟢Латентность инференса становится константной. Неважно, 100 токенов в контексте или миллион — время генерации следующего токена одинаковое.

🟢На контексте 128k токенов — ускорение в 2.7x по сравнению с Attention (на H100). На 2M токенов — ускорение в 35 раз.

🟢В отличие от Mamba и других RNN, качество не проседает на длинных дистанциях. TTT держит планку на уровне полного внимания.

🟡Разумеется, есть куча пунктов со звездочкой

🟠Трейн - сложный. Чтобы модель могла так лихо учиться на лету, её нужно спечиальным образом претрейнить. Этот процесс сейчас в 3.4x медленнее, чем обычное обучение.

🟠Метод требует вычисления градиентов от градиентов во время обучения. FlashAttention из коробки сейчас это не поддерживает, нужны кастомные ядра или костыли.

🟠Cам процесс поедания контекста при инференсе требует вычислений во время префилл-фазы.

По итогу, NVIDIA сравнивает RAG с блокнотом, а свой TTT — с реальным обновлением нейронных связей мозга. Если есть желание покопаться в методике и проникнуться идеей - код и пейпер в открытом доступе.


🟡Статья
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #TTTE2E #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9739🔥23🥰5🤨3👌1🗿1
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI открыла доступ к GPT-5.2 Codex через Responses API.

Модель, ранее доступная лишь в среде Codex, теперь предлагается широкому кругу разработчиков. OpenAI позиционирует версию 5.2 как инструмент для глубокого рефакторинга, написания сложной функциональности и аудита безопасности.

Модель поддерживает мультимодальный ввод и предлагает гибкую настройку глубины рассуждений — от низкого до очень высокого уровня.

За повышенную производительность придется платить: стоимость токенов выросла до $1.75 за миллион на вход и $14 на выход. Поддержка новой модели уже появилась в Cursor и Windsurf.
OpenAI Developers в сети X

✔️ Anthropic усиливает команду экспериментальных продуктов Labs.

Майк Кригер оставляет пост директора по продукту, чтобы сосредоточиться на создании новых инструментов в паре с Беном Манном. Руководство основной продуктовой стратегией переходит к Ами Вора, присоединившейся к компании в конце 2025 года; она возглавит Labs совместно с техническим директором Рахулом Патилом.

Подразделение зарекомендовало себя как генератор хитов Anthropic. Именно здесь родился Claude Code, который всего за 6 месяцев превратился в продукт с миллиардной выручкой и был разработан стандарт MCP, ставший отраслевым эталоном со 100 млн. загрузок ежемесячно.

Президент компании Даниэла Амодей говорит, что формат лаборатории позволяет действовать экстремально быстро: например, Cowork был создан с нуля именно в Labs всего за полторы недели.
anthropic.com

✔️ Z.AI представила модель GLM-Image.

GLM-Image стала важной вехой в технологической независимости КНР. Это первая модель, которая обучалась исключительно на китайском стеке - серверах Huawei Ascend Atlas 800T A2 и фреймворке MindSpore, без использования ускорителей NVIDIA.

Под капотом гибрид из 9-миллиардного авторегрессионного трансформера и 7-миллиардного диффузионного декодера на базе DiT. Разработчики утверждают, что такая связка превосходит конкурентов в рендеринге текста и создания инфографики.

API модели предлагается по цене примерно 1,5 цента за изображение, а веса выложены на HuggingFace и ModelScope.
z.ai

✔️ Google обновила модель Veo.

Google обновила свою видеомодель Veo до версии 3.1, добавив возможность генерации роликов с соотношением сторон 9:16, инструменты для апскейлинга до 4K и переработку функции референса по изображению.

3.1 лучше удерживает визуальную консистентность персонажей и окружения между сценами и точнее следует коротким промптам.

Новые возможности уже доступны в приложении Gemini, AI Studio и на Vertex AI.
blog.google

✔️ Скандал с суверенным ИИ в Южной Корее.

Госпроект Сеула стоимостью $6,9 млрд, призванный избавить страну от технологической зависимости от США и КНР, оказался в центре скандала: ключевые участники использовали опен-сорс решения китайских конкурентов.

Проверка показала, что 3 из 5 финалистов конкурса, компании Naver Cloud, SK Telecom и стартап Upstage заимствовали компоненты у Alibaba, DeepSeek и Zhipu AI. В частности, выяснилось, что визуальный энкодер флагманской модели Naver HyperCLOVA X на 99,5% совпадает с архитектурой Qwen 2.5.

Разработчики оправдываются инженерной целесообразностью, утверждая, что заимствовали лишь вспомогательные модули и код инференса. Однако, использование компонентов с китайскими копирайтами в проекте, который финансируется государством, вызвало жесткую критику общественности и поставило под угрозу квалификацию участников.
wsj.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥59👍1917😁5🤝1
🦾 Как GPT понимает язык и формулирует ответы

GPT не «угадывает», он последовательно считает вероятности и выбирает следующий токен. Понимание этого механизма резко улучшает качество промптов и снижает количество угадаек в LLM.

На открытом вебинаре разберём, как GPT понимает язык и формулирует ответы: как текст превращается в токены и векторы (BPE, эмбеддинги), что происходит с представлением на каждом слое (attention и feed-forward) и как модель реально принимает решение о следующем токене (логиты, softmax, температура).

Вы увидите картину целиком на интуитивном уровне — без глубокой математики, но с правильными терминами и причинно-следственными связями. Это то, что помогает проектировать LLM-системы, отлаживать ответы и писать промпты, которые работают стабильно.

🗓 Встречаемся 28 января в 20:00 МСК в преддверии старта курса «LLM Driven Development». Регистрация открыта: https://otus.pw/WZUm/?erid=2W5zFHNj7Uk

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🗿144👍3🤣2