Stanford обновил полный курс по языковым моделям с нуля

CS336 от Стэнфорда учит создавать языковые модели от сбора данных до деплоя.

Ведут лекции Перси Лианг (директор CRFM) и Тацунори Хашимото. Курс покрывает трансформеры, обучение на ограниченных датасетах через синтетические данные, этику ИИ и работу с GPU.

Отдельные лекции посвящены параллелизму, оценке моделей через бенчмарки вроде MMLU и Stanford QA Dataset. Студенты проходят путь от теории до практических заданий по построению архитектуры.

Полный плейлист доступен на YouTube с детальным разбором каждого этапа создания языковых моделей.

Актуальная версия на 2025й год.
https://online.stanford.edu/courses/cs336-language-modeling-scratch

#Stanford #CS336 #обучение
------
@tsingular

Sama СДУРЕЛ и решил поиграть в Деда Мороза: Plus юзеры теперь получат 3000 запросов к GPT-5-Thinking в неделю! Это кратно больше, чем все reasoning-модели вместе взятые (o3 / o4-mini) в подписке до этого.

GPU для обслуживания пользователей буквально плавятся: Sama сказал, что процент пользователей, получающих ответы от рассуждающих моделей, значительно увеличивается с каждым днем; например, для бесплатных пользователей этот показатель вырос с <1% до 7%, а для Plus-пользователей plus — с 7% до 24%.

То есть:
1) средний бесплатный пользователь всё ещё не знаком с рассуждающими моделями (но их число растёт -> существенно улучшается опыт)
2) до GPT-5 всего 7% Plus'овиков пользовалось рассуждающими моделями (я думал куда больше)
3) а теперь спрос на GPT-5-Thinking подпрыгнул в 3.5 раз и продолжает расти! Это должно существенно улучшить качество ответов для неискушенных пользователей

===

Напоминаю, что чтобы ваш запрос автоматом отправился в GPT-5-Thinking нужно в конце дописать "Think better" или "think for long" или "Подумай хорошенько над ответом". Ну или проще будет включить этот режим по умолчанию в селекторе сверху.

США берет 15% с продаж чипов Nvidia и AMD в Китай

Администрация Трампа заключила необычную сделку с Nvidia и AMD: компании будут отдавать 15% выручки от продаж ИИ-чипов в Китай американскому правительству.

Соглашение появилось через месяц после разрешения Nvidia продавать чип H20 в Поднебесную. Однако лицензии на фактические продажи до сих пор не выданы.

Главный переговорщик по сделке - CEO Nvidia Дженсен Хуанг, который встречался с Трампом на прошлой неделе в Белом доме. Механизм представляет новый подход к управлению технологическими поставками между странами.

Интересно как договорились

#Nvidia #Trump #Китай
------
@tsingular

Эти дни идёт интересная конференция - AGI-25

Через 2 часа начинается кейнот и будут разбирать доклады.

Посмотреть можно тут:
https://www.youtube.com/watch?v=XqYTQfQeMrE

#AGI25
———
@tsingular

Собираем ReAct-агент на базе LangGraph и GigaChat

Сбер опубликовал детальный гайд по созданию ReAct-агентов с помощью LangGraph на базе GigaChat Max.

ReAct-агенты объединяют пошаговое рассуждение с выполнением задач — непрерывный цикл размышления и действия.

Агенты автономно разбивают сложные задачи на подзадачи и выполняют их итеративно, динамично подключая внешние инструменты по мере необходимости.

LangGraph помогает быстро собрать такие мультиагентные процессы с параллельными ветками исполнения задач в виде графов.

В гайде подробная инструкция по сборке и код с вызовом функций, памятью, поиском в интернете и самооценкой действий.

#ReAct #LangGraph #Сбербанк #Gigachain #habr #агенты
———
@tsingular

Llama.cpp позволил запустить 120B-параметровую MOE модель на 8GB VRAM

Новая опция --cpu-moe в llama.cpp отправляет экспертные слои MOE-архитектуры на процессор (17-25 токенов/сек на 14900K), а слои внимания оставляет на GPU.

Требуется всего 5-8GB VRAM вместо стандартных 22GB для полной модели. Система показала 25+ токенов/сек генерации на RTX 3060Ti с 64GB оперативки.

МOE-архитектура решает главную проблему домашнего AI — нехватку видеопамяти. Routing таблицы и LayerNorm остаются на GPU для быстрого prefill, гигантские MLP-веса перекочёвывают на CPU.

Видеокарточка за 300 долларов тянет модель на 120 миллиардов параметров. Скоро домашние компы будут умнее корпоративных серверов прошлого года.

народ в комментах пишет gpt-oss-120B запустили на 5090 (32GB VRAM) с 192GB DDR5 со скоростью 35 т/с

TLDR: запускаем 120B на 4090

#llamacpp #MOE #VRAM
------
@tsingular

Google выпустил LangExtract для извлечения данных из текста

Google представил библиотеку LangExtract — инструмент для извлечения структурированных данных из неструктурированного текста через Gemini.

Особенность — точная привязка к источнику. Каждый извлечённый элемент привязывается к конкретному месту в оригинальном тексте с указанием символов. Есть интерактивная визуализация для проверки результатов.

Библиотека работает с документами до 147,843 символов, использует параллельную обработку и поддерживает обучение на примерах. Подходит для медицинских, юридических и литературных документов.

Можно обрабатывать тексты прямо по URL без предварительной подготовки.

Наглядно и удобно вытаскивать смысловые сущности из документов.
Можно использовать для строительства графов.

#Google #LangExtract #Gemini
———
@tsingular

GPT4o vs GPT5

#юмор #GPT5
———
@tsingular

Метачка только что сделала ИИ, который знает, что будет делать ваш мозг еще до того, как вы нажмете кнопку воспроизведения видео, и для этого ему не нужно проводить ни одного сканирования мозга.

Они выпустили модель TRIBE, нейронную сеть с 1B параметров, которая предсказывает реакцию человеческого мозга на фильмы, анализируя видео, аудио и текст.

TRIBE анализирует видео, аудио и диалоги из фильмов, точно предсказывая, какие зоны мозга зрителя активизируются без какого-либо сканирования мозга.

После тренировки на испытуемых, просмотревших 80 часов телепередач и фильмов, искусственный интеллект правильно предсказал более половины моделей мозговой активности в 1000 областях мозга.

Лучше всего он работает в областях мозга, где сливаются зрение, звук и язык, превосходя на 30 % модели с одним чувством.

Система Meta также показала особую точность в лобных областях мозга, которые контролируют внимание, принятие решений и эмоциональную реакцию на контент.

В перспективе такая разработка предлагает новые формулы для максимизации внимания на нейронном уровне, что потенциально может сделать думскроллинг еще более аддиктивным.

Ещё раз, на входе видео. На выходе информация какие зоны мозга возбуждаются.
И да, мультимодальность воздействует сильнее.

https://github.com/facebookresearch/algonauts-2025

https://arxiv.org/abs/2507.22229

Контент, от которого нельзя оторваться. Писал об этом в фб лет 12 назад.

@cgevent

🔍 Manus Wide Research — параллельное исследование сотен объектов одновременно

Manus теперь работает как коллектив исследователей.

Техническая суть:
- Один промпт → сотни агентов работают параллельно
- Автоматическая декомпозиция сложных задач на подзадачи
- Одновременная обработка множественных запросов

Доступно для Plus пользователей. Basic на очереди.

TLDR: Суперисследователь теперь запускается одним тыком.

#Manus #WideResearch
———
@tsingular

Perplexity добавил генерацию видео

Perplexity запустил функцию создания видео через Veo3.

Для подписчиков плана Max - Veo3 high quality.
Для Pro и Enterprise - Veo3 fast.
Выбрать модель нельзя, но можно перегенерить результат.
Все видео по 8 секунд со звуком и в формате 16:9
Можно генерить видео из картинок.

#Perplexity #video #generation
———
@tsingular

Контекст Claude 4 Sonnet расширили до миллиона токенов

Апдейт запустили в бете для клиентов Tier 4 — это те кто купили API кредитов на $400+. Про планы на доступность расширенного контекста в подписке ничего не говорят. Но их тут никто не подгоняет — главный конкурент всё ещё умудряется давать модели с 32k токенов контекста в Plus плане за $20 в месяц, а вот на рынке API конкуренция по окну контекста куда жёстче.

Claude уже давно умеет в большие окна контекста — Claude Haiku с миллионом токенов контекста показывали ещё в Model Card Claude 3, но в релизе было доступно всего лишь 200к токенов. После этого они запустили подписку Claude Enterprise с 500k токенов контекста в прошлом сентябре.

Цена за промпты длиннее 200к токенов значительно выше — $6/$22.5 за миллион токенов, цена за промпты до 200к токенов остаётся прежней — $3/$15 за миллион токенов. GPT 4.1 остаётся единственной заметной моделью с миллионом токенов контекста, цена на которую не повышается после определённого порога.

@ai_newz

MITRE обнаружили первый ИИ-малварь - LameHug

Эксперты MITRE зафиксировали первую в истории вредоносную программу с интеграцией LLM.

LameHug написан на Python и использует Hugging Face API для взаимодействия с моделью Alibaba's Qwen2.5-Coder-32B-Instruct.

Главная особенность — малварь генерирует системные команды динамически через естественный язык, а не содержит встроенные вредоносные нагрузки.

Традиционные антивирусы бессильны против такой архитектуры, поскольку вредоносная логика создается в реальном времени через LLM.

Исследователи называют это "примитивным, но значимым технологическим тестом" для будущих автономных атак.

TLDR: малварь использует ИИ через API для решений по взлому.

#LameHug #MITRE #malware
------
@tsingular