Что будет, если использовать MIDI-контроллер и SDXL Turbo? Немного волшебства.

Поиски изображений в латентном пространстве в реальном времени на тулките для интерактивных выставок Lunar Tools

Музыканты, задумайтесь. А может подключить синтезатор?

ПодписывайТЕСТО

Haiper: революция в создании видеоконтента с помощью ИИ

Лондонский стартап Haiper, основанный бывшими сотрудниками Google DeepMind и TikTok, представил мощную ИИ-платформу для креатива.

Ключевые инструменты:
• Text-to-Video: преобразование текста в видео
• Image-to-Video: анимация статичных изображений
• AI Repaint: трансформация существующих видео

Про Haiper.ai еще не было. Интересная перспективная платформа c API и без VPN.
Пока в бете.

#Haiper #видео #VideoAI
-------
@tsingular

Новые бенчи Llama выглядят интересно.
Особенно 3.1 версии на 70b и 8b
С 405b все понятно. Но не у каждого найдётся терабайт видеооперативки.

https://llama.meta.com/

#llama3
------
@tsingular

на ollama появилась mistral-nemo 12B нормальная:
https://ollama.com/library/mistral-nemo:12b

и nuextract - классификатор на базе Phi-3:
https://ollama.com/library/nuextract

и llama 3.1
https://ollama.com/library/llama3.1

#ollama
———
@tsingular

А вот сравнение моделей с конкурентами. У нас теперь есть модель уровня GPT-4o, которую могут скачать простые смертные. Ждём результаты с арены и вайбчеки от обычных юзеров.

@ai_newz

Первые API провайдеры начали предлагать Llama 3.1 405B в своих сервисах. И это теперь самая дешёвая фронтирная модель!

fireworks.ai продаёт токены по цене в $3 за миллион и input и output токенов (у 3.5 Sonnet - $3 input/$15 output, 4o - $5 input/$15 output). При этом цена может упасть ещё больше, по мере того как провайдеры конкурируют друг с другом.

Ждём чтобы context caching и batch API предоставляло больше провайдеров

@ai_newz

ну поехали
ollama run llama3.1:8b-instruct-fp16

#ollama #llama3.1
———
@tsingular

AWS запускает Llama 3.1 на новых чипах Trainium и Inferentia

AWS анонсировала поддержку моделей Llama 3.1 на своих специализированных AI-чипах.
Семейство включает многоязычные модели размером 8B, 70B и 405B с контекстом до 128k токенов.
Llama 3.1 405B - крупнейшая публично доступная открытая LLM.
Доступна в Amazon Bedrock, EC2, SageMaker и Hugging Face.
Для файн-тюнинга предлагается библиотека NeuronX Distributed.
Развертывание возможно с использованием vLLM на Trainium/Inferentia.

Одновременно о поддержке Llama 3.1 объявил и Google:

Google Cloud добавляет семейство моделей Llama 3.1 от Meta в Vertex AI Model Garden.
Пользователи могут дообучать модели на собственных данных.
Платформа обеспечивает автоматическое масштабирование и оплату по мере использования.
Поддерживаются Llama Guard и встроенные меры безопасности Google Cloud.

#AWS #Google #Llama
-------
@tsingular

День за днём новости все жарче!

Kling раскатили на весь мир. Регистрация просто по почте. Ожидаются кратковременные лежащие сервера. Хотя интересно как китайцы подготовились к наплыву.

Бегом тестить на klingai.com

@ai_newz

Llama 3.1 405B, квантизированная до 4 бит, запущенная на двух макбуках (128 гиг оперативки у каждого). Возможно это с помощью exo - тулы, позволяющей запускать модельку распределённо на нескольких девайсов. Поддерживаются практически любые GPU, телефоны, планшеты, макбуки и почти всё о чём можно подумать.

Запустить ламу на домашнем кластере

@ai_newz

Прогресс открытых и проприетарных моделей от Maxime Labonne
обновление для наглядности по итогам запуска Llama 3.1
Тут прям напрашивается туз в рукаве у проприетарщиков в виде 100К видеокарт под жидким охлаждением как у Маска, например.
Иначе в скором времени открытки сравняются, догонят и перегонят, потому, что их будут гонять на распределённых сетях.

#trends #maximlabonne
———
@tsingular

И еще в копилку разбора Llama 3.1 иллюстрация от Daniel Han из unsloth.ai:

1. 15.6T tokens, Tools & Multilingual
2. Llama arch + new RoPE
3. fp16 & static fp8 quant for 405b
4. Dedicated pad token
5. <|python_tag|><|eom_id|> for tools?
6. Roberta to classify good quality data
7. 6 staged 800B tokens long context expansion


1. Новый метод расширения RoPE.
Использует интересный низкий и высокий коэффициент масштабирования и масштабирует вектор inv_freq — его можно вычислить за 1 проход, поэтому нет необходимости в динамических повторных вычислениях. Использовался 6-этапный подход к увеличению количества токенов с 8 000 до 128 000 с использованием токенов 800B.

2. Обучение
От 38% до 43% MFU с использованием bfloat16. Используется конвейерный параллелизм + FSDP. Усреднение модели для этапов RM, SFT и DPO.

3. Смесь данных
50% общие знания
25% математика и рассуждения
17% кодируют данные и задачи
8% многоязычных данных

4. Этапы предварительной обработки
Использует Roberta, DistilRoberta, fasttext для фильтрации данных хорошего качества. Множество средств дедупликации и эвристики для удаления неверных данных.

5. Квантование с fp8
Квантует веса до fp8 и ввод до fp8, затем умножает на коэффициенты масштабирования. fp8 x fp8, тогда выход будет bf16. Быстрее для вывода и меньше использования VRAM.

6. Эксперименты со зрением и речью
Команда Llama 3.1 также обучила адаптеры зрения и речи — правда, не выпущенные, но очень крутые!

#llama #unsloth
———
@tsingular

Udio обновилась до версии 1.5

Udio выпустила обновление AI-генератора музыки.
Версия 1.5 предлагает улучшенное качество звука, более точный контроль тональности и поддержку большего количества языков.
Так же обновилась страница для создания контента, загрузки стемов и ремикса загруженного аудио.
Платформа теперь генерирует 48 кГц стерео треки с повышенной четкостью и улучшенным разделением инструментов.
Добавлена возможность создания видео с текстом песен.

Точность тональности в структуре песен и правда повысилась.

#Udio #MusicAI #AudioGeneration
-------
@tsingular

Первая информация о Samsung 'AI Phones'

Samsung разрабатывает 'AI Phones' - устройства, полностью основанные на ИИ.
Президент мобильного подразделения TM Roh подтвердил работу над проектом.
Зарегистрированы торговые марки 'AI Phone' и 'AI Smartphone'.
По информации из интервью, дизайн смартфонов может радикально отличаться от того, что принято сегодня.
Ожидаются большие экраны и дополнительные датчики.
Возможны варианты с новыми, экспериментальными форм-факторами и интеграция с Galaxy AI.

С экранами спорно.
Пора уже в будущих моделях голографические экраны или проецирование на сетчатку проектировать.

#Samsung #AIphones #GalaxyAI
-------
@tsingular

MIT создал MAIA: ИИ для улучшения ИИ

Учёные MIT разработали MAIA - систему для автоматического улучшения нейросетей.

MAIA использует предобученную мультимодальную модель и набор инструментов для экспериментов с ИИ-подсистемами.

Она может генерировать гипотезы, проводить опыты и уточнять понимание через итеративный анализ.

Например, система способна описывать концепты в моделях компьютерного зрения и выявлять скрытые предубеждения.

MAIA превзошла базовые методы в описании отдельных нейронов различных моделей.

Её можно применять для аудита ИИ-моделей на предмет безопасности перед внедрением.

Автоматизированная эволюция запущена.
Пэйпер:
https://arxiv.org/pdf/2404.14394.pdf

#MIT #MAIA #InterpretableAI
-------
@tsingular

Miro представляет Intelligent Canvas с ИИ функциями

Miro запустила Intelligent Canvas - обновление платформы для совместной работы с интегрированным ИИ.

Обновления коснулись:
Spaces - для организации проектов, режимы для специфических задач и интеллектуальные виджеты.
Composable workflows позволяет автоматизировать рабочие процессы. По умолчанию доступно 12 умных шаблонов для разных сценариев.

ИИ-функции доступны в контекстном меню.
Кнопки "Create with AI" и AI Sidekicks задействуют виртуальных помощников в проектах.
ИИ поможет группировать стикеры, создавать документы, диаграммы и изображения, а также добавлять комментарии.

Для использования ИИ-возможностей введена система кредитов, объём которых зависит от плана подписки.

#Miro #CollaborationTools #IntelligentCanvas
-------
@tsingular

А на этом видео показан инференс новой Ламы 3.1 на чипах компании Groq. Вот именно так должно выглядеть взаимодействие с ИИ-ассиьентами: мгновенный, точный, продуманный ответ и решение задачи.

ИИ от DeepMind заработал серебро на математической олимпиаде

Системы AlphaProof и AlphaGeometry 2 от Google DeepMind решили 4 из 6 задач IMO 2024, набрав 28 из 42 баллов.
AlphaProof, использующий обучение с подкреплением и язык Lean, справился с алгеброй и теорией чисел.
AlphaGeometry 2 решил геометрическую задачу за 19 секунд.
Системы решили самую сложную задачу, доступную лишь 5 участникам.
DeepMind также тестирует систему рассуждений на естественном языке на базе Gemini.

Прорыв в решении математических задач сравним с запуском Спутника-1 в 1957м:
как сейчас нельзя представить высокие технологии без космоса, так и в будущем способность ИИ к решению математических задач будет фундаментально влиять на технологический прогресс.

#DeepMind #maths
-------
@tsingular

Google обновил Gemini 1.5 Flash и сделал её доступной бесплатно

- Улучшено качество и скорость ответов
- Расширено контекстное окно до 32K токенов
- Добавлена возможность загрузки файлов через Google Drive
- Доступен анализ данных и создание визуализаций
- Поддержка 40+ языков в 230+ странах
- Добавлены функции связанного контента и двойной проверки ответов.

В Европе Gemini интегрирован в Google Messages для Android.

#Gemini #GoogleAI #AIAssistant
-------
@tsingular