⚡️ LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

LLaVA-Mini достигает производительности LLaVA-v1.5 с 1 токеном (vs 576), сокращая количество FLOP на 77%, задержку со 100 мс до 40 мс и VRAM с 360 МБ до 0,6 МБ, обеспечивая 3-часовую обработку видео и 10 000 кадров на 24 ГБ GPU 🔥.

Установка:

conda create -n llavamini python=3.10 -y
conda activate llavamini
pip install -e .
pip install -e ".[train]"
pip install flash-attn --no-build-isolation

HF: https://huggingface.co/ICTNLP/llava-mini-llama-3.1-8b

Github: https://github.com/ictnlp/LLaVA-Mini

@data_analysis_ml

Вышло интервью с главным научным сотрудником Anthropic Джаредом Капланом (Jared Kaplan) о развитии AI-агентов в 2025 году.

Краткая выжимка из интервью:

Развитие инструментов

Anthropic представила расширение Claude под названием "computer use"
Система позволяет модели управлять компьютером (курсор, клики, ввод текста)

Функционал тестируется компаниями DoorDash, Canva и Asana

Технические улучшения в 2025:

Расширение возможностей использования инструментов и сред
Улучшение контекстного понимания (работа с документами, Slack)

Развитие помощников для программирования (не просто автодополнение, а понимание кода и отладка с учётом понимания проблематики задачи)

Усиление безопасности, особенно защита от prompt injection

Текущие ограничения:

Система все еще допускает ошибки
Требуется работа над безопасностью при масштабном развертывании
Необходимость баланса между функциональностью и предотвращением злоупотреблений

Практическое применение:

Компании экспериментируют с различными видами браузерных взаимодействий
Claude 3.5 активно используется для программирования
Внутри Anthropic модель применяется для различных задач

Каплан отмечает, что развитие агентов идет по двум осям: усложнение выполняемых задач и расширение спектра доступных инструментов/сред для работы.

Интервью является своеобразным ответом на пост Сэма Альтмана - Reflections
В котором он изложил свои размышления о развитии OpenAI и chatGPT за последние годы.
В нём Альтман говорит, что они уже понимают как создать AGI и начинают готовить фундамент для разработки ASI.
Агенты, по его мнению, уже в этом году будут становиться полноценными участниками рабочих групп.

#Anthropic #agents #OpenAI #reflections
———
@tsingular

«Дарвин среди машин» — это письмо в редакцию, опубликованное в газете «The Press» 13 июня 1863 года в Крайстчерче, Новая Зеландия.

Написанное Сэмюэлем Батлером, но подписанное Cellarius, письмо поднимало вопрос о том, что машины могут быть своего рода «механической жизнью», претерпевающей постоянную эволюцию, и что в конце концов машины могут заменить людей в качестве доминирующего вида:

Мы обращаемся к вопросу: каким будет следующее существо, которое станет преемником человека в господстве над землей. Мы часто слышали об этом споре; но нам кажется, что мы сами создаем своих преемников; мы ежедневно улучшаем красоту и изящество их физического строения; мы ежедневно даем им большую силу и снабжаем всевозможными изобретательными приспособлениями той саморегулирующейся, самоуправляющейся силой, которая станет для них тем же, что интеллект был для человеческого рода. Через века мы сами окажемся уступающим родом.

...

Однако день за днем машины продвигаются вперед; день за днем мы становимся все более зависимыми от них; все больше людей ежедневно привязаны к ним как рабы, все больше людей ежедневно посвящают энергию всей своей жизни развитию механической жизни. Итогом будет просто вопрос времени, но то, что настанет время, когда машины возьмут под свой контроль действительное господство над миром и его обитателями, не может быть поставлено под сомнение ни одним человеком с поистине философским умом.

Письмо заканчивается призывом: «Война до смерти должна быть немедленно объявлена им. Каждая машина любого рода должна быть уничтожена благожелателем своего вида. Не должно быть сделано никаких исключений, не должно быть пощады; давайте сразу же вернемся к первобытному состоянию расы».

Электронная копия публикации
полный исходник в комментарии.

160 лет назад, а как точно увидел будущее.

#DarwinAmongTheMachines
———
@tsingular

🛍 AI-решения Google Cloud для ритейла На базе Vertex AI, Gemini и других технологий Google Cloud

Гугл участвует в конференции ритейлеров в США - National Retail Federation и на ней представил экосистему партнёров, которые на базе VertexAI и вообще ИИ решений Гугл делают что то полезное для ритейла.

🎯 Маркетинг и данные
Главное: AI помогает ритейлерам извлекать максимум из данных для персонализации кампаний и повышения ROI.

Ключевые партнёры:
- Eagle Eye — омниканальная персонализация промо на базе Vertex AI
- LiveRamp — платформа для коллаборации с данными (обогащение и активация клиентских данных)
- Revieve — специальные решения для бьюти-ритейла (real-time взаимодействие с покупателями)
- Revionics — оптимизация цен через Gemini (можно спрашивать на обычном языке типа "кто из конкурентов чаще всего меняет цены")

💫 Unified Commerce
Фокус на создании целостного представления о клиентах, запасах и заказах во всех каналах.

Основные игроки:
- BigCommerce — AI-рекомендации товаров в реальном времени
- Bloomreach — интеграция данных о клиентах и товарах для персонализации
- commercetools — композабельная коммерция для масштабирования
- Everseen — Vision AI для снижения потерь и контроля запасов
- Quantum Metric — аналитика для оптимизации customer journey
- Shopify — комплексная платформа для бизнесов любого размера

📦 Supply Chain
AI здесь работает на автоматизацию и устойчивость цепочек поставок.

Ведущие решения:
- 345 Global — планирование магазинов, мерчандайзинг, продажи
- Impact Analytics — предиктивная аналитика для прогнозирования спроса
- Manhattan — унификация POS, управления заказами и фулфилмента
- o9 Solutions — оптимизация планирования и снижение потерь

🏪 Операции в физических магазинах
Топ решений:
- NCR Voyix — омниканальный шоппинг + инсайты о поведении
- Standard.ai — computer vision для анализа поведения покупателей
- VusionGroup — умное ценообразование и мониторинг полок
- Zebra — автоматизация процессов через AI/ML

👥 Сервисные партнёры
Ключевые консультанты:
- Accenture — ai.RETAIL для трансформации операций
- Deloitte — решения для управления задачами и планирования спроса
- Publicis Sapient — оптимизация контента и retail media
- Tredence — AI/ML акселераторы для анализа категорий
- Slalom — мультимодальное AI-решение для поиска товаров

#google #кейсы #retail
———
@tsingular

Проклятие ИИ: Почему сильный искусственный интеллект может оставить людей за бортом 🤖

AI революция кардинально отличается от предыдущих технологических трансформаций, напоминая больше природный ресурс, чем инструмент.

Люк Драго написал интереснейший текст о том, как AGI может радикально изменить экономические стимулы крупных игроков - и не в пользу обычных людей.

Главный инсайт: AGI больше похож на нефть, чем на компьютер или паровой двигатель. И это создаёт опасный парадокс 🎭

Представьте: вы CEO крупной компании. Сегодня вы нанимаете тысячи аналитиков - они делают презентации, пишут отчёты, собирают данные.
А завтра появляется AGI, который:

- Работает на 20% быстрее
- Делает всё на 10% качественнее
- Стоит в 5 раз дешевле
- Не устаёт, не болеет, не берёт отпуск

ИИ с общим интеллектом (AGI) будет не просто лучше ваших аналитиков. Он будет надежно лучше. Вы будете точно знать, как он будет работать, еще до интеграции или вскоре после нее. Вы сможете предсказать, насколько он станет лучше с каждой новой версией. Через несколько месяцев или лет после того, как он превзойдет ваших аналитиков, он станет лучше вас в принятии стратегических решений для компании.

Что вы сделаете? Правильно - замените людей на AGI.
А если ваша компания не сделает это, вас вытеснит конкурент, внедривший AGI.
И это создаст эффект домино 📉

Государства перестанут инвестировать в:

Образование (зачем готовить работников?)
Инфраструктуру (для кого строить дороги?)
Социальные программы (кого поддерживать?)

Доходы будут поступать не от налогов граждан, а от корпораций, использующих AGI. Как в странах, живущих на нефтяную ренту - но намного хуже.

Самое печальное - даже "хорошо настроенный" AGI этого не исправит. Это проблема экономических стимулов, а не этики ИИ 😕

Что делать? Уже сейчас понятно - нужны:

Новая модель управления
Технологии, сохраняющие экономическую значимость людей
Серьёзная дискуссия о будущем труда

А пока большинство продолжает верить, что "всё как-то само наладится". Спойлер: не наладится 🎯

Полный текст статьи

#AGI #будущее #экономика #аналитика
———
@tsingular

Потенциал для ИИ автоматизации нужно искать в папке с вакансиями.
И в папке с увольняемыми.

https://t.iss.one/glavmedia/383829?single

⚡️В «Газпроме» готовятся массовые увольнения

Персонал центрального аппарата могут сократить почти вдвое - с 4100 до 2500 человек, сообщает портал 47news.

#интеграция #HR
------
@tsingular

🇺🇸 Битва за AI-чипы: Конфликт NVIDIA и администрации Байдена

Администрация Байдена выпустила новые правила контроля экспорта AI-чипов ("Interim Final Rule on Artificial Intelligence Diffusion"), которые серьезно ограничивают продажу передовых процессоров в другие страны.

NVIDIA, владеющая ~90% рынка AI-чипов, жестко раскритиковала эти правила в расчёте на поддержку Трампа.

Ключевые моменты:

Байден хочет оставить контроль над развитием AI за США и 18 ключевыми союзниками (включая UK, Канаду, Японию, Тайвань)

Для остальных стран вводятся жесткие квоты на импорт AI-чипов

Также вводится контроль над "весами" AI-моделей (weights) - то есть над одним из самых важных параметров нейросетей - суть аналог умности.

NVIDIA называет это "бюрократическим кошмаром" и намекает, что при Трампе было/будет лучше 🤔

Правила вступают в силу через 120 дней - как раз когда Трамп возвращается в Белый дом.

Похоже, NVIDIA делает ставку на то, что он отменит ограничения.

Если правила останутся, это может серьезно повлиять на глобальное развитие AI:

- Замедлится распространение технологий в "непривилегированные" страны
- Усилится технологический разрыв между США+союзниками и остальным миром
- Возможен рост "черного рынка" AI-чипов

Интересно, что правила затрагивают не только железо, но и "веса" моделей.

Это первая попытка США взять под контроль сами AI-модели, а не только железо для их обучения.

Забавно, что NVIDIA, критикуя "регуляторный хаос" Байдена, сама не против регуляций - просто хочет, чтобы они были удобнее для бизнеса. А пока компания явно надеется на Трампа и смягчение политики.

В любом случае, эта история показывает, что контроль над AI становится ключевым элементом глобальной борьбы.

Все это конечно особенно интересно на фоне уверенного прогресса Китая с их Qwen и DeepSeek.
Еще пару лет и будет вопрос, - кто кому какие веса запрещать будет.

Ладно, посмотрим как там оно изменится через 7 дней.

#Nvidia #Biden #Trump #regulations
———
@tsingular

Microsoft консолидирует AI-разработку в CoreAI

Интересные новости из Рэдмонда!
Сатья Надела анонсировал создание нового подразделения CoreAI, которое должно перевернуть наше представление о разработке AI-приложений.

🔄 Что происходит:

Microsoft объединяет Dev Div, AI Platform и ключевые команды Office of the CTO в новое подразделение CoreAI

Во главе становится Jay Parikh (EVP of CoreAI)

Фокус на создании end-to-end стека для Copilot и AI-приложений

🚀 Почему это важно:
Microsoft видит, что мы входим в новую эру AI-платформ, где:

- 30 лет изменений сжимаются в 3 года
- Появляются агентные приложения с памятью и правами
- Весь стек разработки становится "AI-first"

🤔 Любопытный момент: Microsoft делает большую ставку на агентные системы, в отличие от более осторожного подхода некоторых других компаний. Azure должен стать главной инфраструктурой для AI, а GitHub Copilot будет использоваться как площадка для тестирования новых возможностей.

💡 Что дальше:

- Ждем новые паттерны UI/UX для AI-приложений
- Появление новых инструментов для работы с агентами
- Переосмысление того, как мы строим и поддерживаем код

Вот это, мне кажется, самое главное:
Весь стек разработки становится "AI-first"
Можно в признаки года заносить. Эпохальный разворот.

#Microsoft #CoreAI #Azure
———
@tsingular

США обвиняет Китай в нечестном доминировании на рынке судостроения

Торговая комиссия США завершила расследование и выявила, что КНР несправедливо захватила мировой рынок кораблестроения.

Пекин якобы субсидирует верфи, занижает цены и использует другие методы господдержки для доминирования в отрасли.

Американская доля при этом на рынке упала с 7% до менее 0.2% за последние 30 лет.

Китайские компании контролируют более 50% мирового производства судов превышая судостроительные мощности США больше чем в 232 раза.

Комиссия рекомендует ввести компенсационные пошлины против китайских судостроителей.

Небольшой оффтопик, но симптоматично, - с ИИ будет так же, считаю.

#судостроение #Китай
———
@tsingular

MiniMax-Text-01: 456B модель с контекстом на 4 млн. токенов

Китайская компания представила мощнейшую языковую модель c впечатляющими характеристиками:
456 млрд параметров, из которых 45,9 млрд активируются на каждый токен.

Скрестили три технологии: Lightning Attention (молниеносное внимание), Softmax и Mixture-of-Experts (MoE).
В итоге получили монстра, который может переварить аж 4 миллиона токенов при инференсе! 🚀

По бенчмаркам MiniMax-Text-01 идёт ноздря в ноздрю с GPT-4 и Claude 3.5 Sonnet, а где-то даже обгоняет.

Особенно порадовал их результат на тесте иголки в стоге сена - модель сохраняет 100% точность внимания даже на контексте в 4 миллиона токенов.

Архитектурно: 80 слоёв, после каждых 7 слоев lightning attention идёт классический softmax, 32 эксперта в MoE... И у экспертов еще 9216 скрытых слоя.

Подход к маршрутизации в MoE - используют top-2 стратегию. То есть каждый токен обрабатывается двумя экспертами из 32, что даёт хороший баланс между эффективностью и качеством.

В общем, похоже, китайские коллеги решили показать, что тоже умеют в большие модели. И судя по результатам - получилось весьма неплохо! 🎯

Попробовать бесплатно тут:
https://www.hailuo.ai/

API тут:
https://intl.minimaxi.com/

📑Paper: https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

💜 Hugging Face: https://huggingface.co/MiniMaxAI

💡GitHub: https://github.com/MiniMax-AI/MiniMax-01

Теперь есть железный аргумент брать 2 штуки NVidia Digits!

#Китай #LLM #MiniMax
———
@tsingular

ChatGPT научился автоматически выполнять задачи по расписанию

OpenAI добавила функцию Scheduled Tasks для ChatGPT.

Функционал позволяет запускать автоматические действия в назначенное время.

Пользователи могут планировать выполнение задач, получая результаты в заданные интервалы.

Сервис поддерживает ежедневные, еженедельные и ежемесячные расписания.

Интеграция доступна для владельцев Plus и Enterprise подписок.

Теперь ChatGPT может работать, пока вы спите 😴

#ChatGPT #automation #scheduling
------
@tsingular

COCONUT: Учим LLM думать не словами, а эмбеддингами (by Meta)

С появлением моделей серии o1 от OpenAI интерес к "ризонингу" языковых моделей стал расти ещё быстрее. Давно было известно, что если попросить LLM поразмышлять шаг за шагом "вслух", то точность ответов повышается, это называется Chain-of-Thought (CoT). А вы сами-то пробовали с ходу умножать 10-значные числа? Я только в столбик умею "step-by-step" 😁

Так вот, постепенно появляются идеи, что человеческий язык не оптимален для размышлений (вспоминаем QuietSTAR), он их только ограничивает. Более того! Есть исследования, что и люди на самом-то деле не словами думают — языковой отдел в мозге практически не активен в моменты рассуждений.

Вот и авторы COCONUT предлагают цепочку мыслей генерировать не в виде текстовых токенов, а в виде эмбеддингов, которые рекуррентно скармливаются обратно в LLM. Это должно развязывать моделям руки и позволять думать в более абстрактных сущностях, а не конкретными токенами.

Обнаружилось, что у COCONUT появляется суперпозиция нескольких альтернативных логических цепочек, своего рода breadth-first-search внутри эмбеддингов. Это позволило моделям решать задачки на планирование и логику быстрее и точнее, чем при обычном текстовом CoT. Не на всех бенчмарках выросли метрики, но сама идея классная, лично я в масштабирование таких подходов верю больше, чем в рассуждения на обычном языке.

Но пока тут есть два серьёзных минуса:
1. Для файнтюнинга LLM в режиме COCONUT всё ещё нужны ground truth словесные цепочки рассуждений, которые потом дистиллируются в латенты постепенной заменой текстовых шагов на латентные.
2. Обучение жрёт много компьюта и памяти, т.к. по сути это рекуррентная модель, через которую нужно N раз пропустить градиенты насквозь.

P.S. Более подробный разбор можно почитать у Андрея Лукьяненко тут.

Статья, GitHub

Обновился фреймворк AutoGen от Microsoft

Microsoft выпустила версию 0.4 программного фреймворка для разработки автономных многоагентных систем.
Платформа предоставляет возможность создавать быстрые прототипы интерактивных и независимых групп агентов на базе GPT-4.
Из инструментов уже доступны веб-поиск, исполнение кода и файловые операции.
Позволяет организовать групповые чаты с разными типами агентов для решения общей задачи.
Есть среда для настройки процессов без кода.

#Microsoft #AutoGen #MultiAgent
-------
@tsingular

Китай объявил о планах построить гигантскую солнечную электростанцию в космосе!

Суть проекта: огромная солнечная станция будет собирать энергию на геостационарной орбите (36000 км над Землей) и отправлять её на Землю с помощью микроволн.

Главный конструктор китайских ракет Long March сравнивает проект с "Three Gorges Dam в космосе" (Гидроэлектростанция на Ян-Цзы, генерирующая 100 млрд кВт⋅ч в год).
По расчётам, за год станция соберет энергии больше, чем вырабатывают все нефтепроекты Земле 🤯

Строительство планируется с помощью транспортировки частей станции на орбиту на сверхтяжелой ракете Long March-9 (грузоподъемность ракеты — 150 тонн)

Почему это крутое решение:
В космосе солнечная энергия в 10 раз интенсивнее
Нет проблем с облачностью
Работает 24/7

Lockheed Martin, Northrop Grumman, ESA и JAXA также разрабатывают похожие проекты.

Собрать на орбите 100 млрд кВт⋅ч. Исключительно в мирных целях! 🛸⚡️

#Китай #LongMarch #SpacePower
-------
@tsingular

Sakana.ai - Transformer²: революция в самоадаптации нейросетей

Sakana AI выпустили любопытный препринт про новый подход к дообучению языковых моделей.

Суть в том, чтобы научить модели самостоятельно перестраивать свои веса под разные задачи - примерно как осьминог меняет цвет под окружение.

Технически всё строится на SVD-разложении весовых матриц (считай, раскладываем "мозг" LLM на независимые компоненты) и обучении специальных z-векторов через RL.

Каждый z-вектор - это как бы эксперт по конкретной задаче, который говорит какие компоненты усилить, а какие притушить.
Три режима работы: по промпту, через классификатор и few-shot адаптация.

Результаты неплохие - на GSM8K и других бенчмарках (в математике, программировании и логических рассуждениях) метод работает лучше чем LoRA.

Но самое интересное, что эти z-векторы можно комбинировать, получая что-то вроде составных экспертов под новые задачи и даже переносить между разными архитектурами,- Llama → Mistral, например.

Полный текст можно найти на сайте Sakana AI. Там подробнее расписано про методологию и эксперименты.

Paper

Очень похоже на COCONUT тоже про мышление векторами.

#Transformer2 #Sakana #Китай
-------
@tsingular