Llama 3.1 405B, квантизированная до 4 бит, запущенная на двух макбуках (128 гиг оперативки у каждого). Возможно это с помощью exo - тулы, позволяющей запускать модельку распределённо на нескольких девайсов. Поддерживаются практически любые GPU, телефоны, планшеты, макбуки и почти всё о чём можно подумать.

Запустить ламу на домашнем кластере

@ai_newz

Прогресс открытых и проприетарных моделей от Maxime Labonne
обновление для наглядности по итогам запуска Llama 3.1
Тут прям напрашивается туз в рукаве у проприетарщиков в виде 100К видеокарт под жидким охлаждением как у Маска, например.
Иначе в скором времени открытки сравняются, догонят и перегонят, потому, что их будут гонять на распределённых сетях.

#trends #maximlabonne
———
@tsingular

И еще в копилку разбора Llama 3.1 иллюстрация от Daniel Han из unsloth.ai:

1. 15.6T tokens, Tools & Multilingual
2. Llama arch + new RoPE
3. fp16 & static fp8 quant for 405b
4. Dedicated pad token
5. <|python_tag|><|eom_id|> for tools?
6. Roberta to classify good quality data
7. 6 staged 800B tokens long context expansion


1. Новый метод расширения RoPE.
Использует интересный низкий и высокий коэффициент масштабирования и масштабирует вектор inv_freq — его можно вычислить за 1 проход, поэтому нет необходимости в динамических повторных вычислениях. Использовался 6-этапный подход к увеличению количества токенов с 8 000 до 128 000 с использованием токенов 800B.

2. Обучение
От 38% до 43% MFU с использованием bfloat16. Используется конвейерный параллелизм + FSDP. Усреднение модели для этапов RM, SFT и DPO.

3. Смесь данных
50% общие знания
25% математика и рассуждения
17% кодируют данные и задачи
8% многоязычных данных

4. Этапы предварительной обработки
Использует Roberta, DistilRoberta, fasttext для фильтрации данных хорошего качества. Множество средств дедупликации и эвристики для удаления неверных данных.

5. Квантование с fp8
Квантует веса до fp8 и ввод до fp8, затем умножает на коэффициенты масштабирования. fp8 x fp8, тогда выход будет bf16. Быстрее для вывода и меньше использования VRAM.

6. Эксперименты со зрением и речью
Команда Llama 3.1 также обучила адаптеры зрения и речи — правда, не выпущенные, но очень крутые!

#llama #unsloth
———
@tsingular

Udio обновилась до версии 1.5

Udio выпустила обновление AI-генератора музыки.
Версия 1.5 предлагает улучшенное качество звука, более точный контроль тональности и поддержку большего количества языков.
Так же обновилась страница для создания контента, загрузки стемов и ремикса загруженного аудио.
Платформа теперь генерирует 48 кГц стерео треки с повышенной четкостью и улучшенным разделением инструментов.
Добавлена возможность создания видео с текстом песен.

Точность тональности в структуре песен и правда повысилась.

#Udio #MusicAI #AudioGeneration
-------
@tsingular

Первая информация о Samsung 'AI Phones'

Samsung разрабатывает 'AI Phones' - устройства, полностью основанные на ИИ.
Президент мобильного подразделения TM Roh подтвердил работу над проектом.
Зарегистрированы торговые марки 'AI Phone' и 'AI Smartphone'.
По информации из интервью, дизайн смартфонов может радикально отличаться от того, что принято сегодня.
Ожидаются большие экраны и дополнительные датчики.
Возможны варианты с новыми, экспериментальными форм-факторами и интеграция с Galaxy AI.

С экранами спорно.
Пора уже в будущих моделях голографические экраны или проецирование на сетчатку проектировать.

#Samsung #AIphones #GalaxyAI
-------
@tsingular

MIT создал MAIA: ИИ для улучшения ИИ

Учёные MIT разработали MAIA - систему для автоматического улучшения нейросетей.

MAIA использует предобученную мультимодальную модель и набор инструментов для экспериментов с ИИ-подсистемами.

Она может генерировать гипотезы, проводить опыты и уточнять понимание через итеративный анализ.

Например, система способна описывать концепты в моделях компьютерного зрения и выявлять скрытые предубеждения.

MAIA превзошла базовые методы в описании отдельных нейронов различных моделей.

Её можно применять для аудита ИИ-моделей на предмет безопасности перед внедрением.

Автоматизированная эволюция запущена.
Пэйпер:
https://arxiv.org/pdf/2404.14394.pdf

#MIT #MAIA #InterpretableAI
-------
@tsingular

Miro представляет Intelligent Canvas с ИИ функциями

Miro запустила Intelligent Canvas - обновление платформы для совместной работы с интегрированным ИИ.

Обновления коснулись:
Spaces - для организации проектов, режимы для специфических задач и интеллектуальные виджеты.
Composable workflows позволяет автоматизировать рабочие процессы. По умолчанию доступно 12 умных шаблонов для разных сценариев.

ИИ-функции доступны в контекстном меню.
Кнопки "Create with AI" и AI Sidekicks задействуют виртуальных помощников в проектах.
ИИ поможет группировать стикеры, создавать документы, диаграммы и изображения, а также добавлять комментарии.

Для использования ИИ-возможностей введена система кредитов, объём которых зависит от плана подписки.

#Miro #CollaborationTools #IntelligentCanvas
-------
@tsingular

А на этом видео показан инференс новой Ламы 3.1 на чипах компании Groq. Вот именно так должно выглядеть взаимодействие с ИИ-ассиьентами: мгновенный, точный, продуманный ответ и решение задачи.

ИИ от DeepMind заработал серебро на математической олимпиаде

Системы AlphaProof и AlphaGeometry 2 от Google DeepMind решили 4 из 6 задач IMO 2024, набрав 28 из 42 баллов.
AlphaProof, использующий обучение с подкреплением и язык Lean, справился с алгеброй и теорией чисел.
AlphaGeometry 2 решил геометрическую задачу за 19 секунд.
Системы решили самую сложную задачу, доступную лишь 5 участникам.
DeepMind также тестирует систему рассуждений на естественном языке на базе Gemini.

Прорыв в решении математических задач сравним с запуском Спутника-1 в 1957м:
как сейчас нельзя представить высокие технологии без космоса, так и в будущем способность ИИ к решению математических задач будет фундаментально влиять на технологический прогресс.

#DeepMind #maths
-------
@tsingular

Google обновил Gemini 1.5 Flash и сделал её доступной бесплатно

- Улучшено качество и скорость ответов
- Расширено контекстное окно до 32K токенов
- Добавлена возможность загрузки файлов через Google Drive
- Доступен анализ данных и создание визуализаций
- Поддержка 40+ языков в 230+ странах
- Добавлены функции связанного контента и двойной проверки ответов.

В Европе Gemini интегрирован в Google Messages для Android.

#Gemini #GoogleAI #AIAssistant
-------
@tsingular

Китай запускает первый в мире ториевый реактор

Поднебесная готовится к запуску революционного ядерного реактора на расплавленных солях тория в пустыне Гоби к 2025 году.
Инновационная установка использует торий вместо урана и охлаждается жидкой солью или CO2, а не водой.
Технология обещает повышенную безопасность, работу при нормальном давлении и меньше радиоактивных отходов.
Проект соответствует курсу КНР на диверсификацию энергетики и достижение углеродной нейтральности.
Успешная эксплуатация может стать ориентиром для других стран, заинтересованных в альтернативной атомной энергетике.

Китай с невероятной скоростью развивает энергетику вообще.
Вот кому точно хватит на питание сверхмощных ИИ кластеров.

#thorium #nuclear #MoltenSaltReactor
-------
@tsingular

IBM представляет AI-Hilbert: ИИ-ученый для научных открытий

Исследователи IBM разработали AI-Hilbert - систему для генерации новых научных теорий.
Алгоритм объединяет существующие знания и экспериментальные данные для создания интерпретируемых математических моделей.

Использует алгебраическую геометрию и оптимизацию для поиска научных законов.

Способен воспроизводить известные законы и генерировать новые в условиях ограниченных данных.

Исходники AI-Hilbert доступны в открытом доступе: https://github.com/IBM/AI-Hilbert

Следом за победами Гугла на математической олимпиаде, кстати, смотрится очень органично.

#IBM #AIHilbert #ScientificDiscovery
-------
@tsingular

ИИ учится «мыслить» по-человечески

Учёные создают RTNet - модель ИИ, имитирующую человеческое мышление.
Система демонстрирует стохастическое принятие решений и оценку уверенности.
Исследователи ASU разрабатывают динамическую память на основе резервуарных вычислений.
Новый подход позволяет ИИ воспринимать, хранить и проецировать паттерны во времени.
Технология может помочь решать сложные динамические задачи, ранее недоступные ИИ.
Учёные изучают компромиссы между скоростью и точностью обработки информации.

Настоящий эффект от ИИ мы увидим, когда будет избыточность мощности для саморефлексии во времени.
Это ещё примерно 3-4 порядка.

#RTNet #ReservoirComputing #HumanLikeAI
-------
@tsingular

Microsoft и Стэнфорд представляют Trace: фреймворк для оптимизации ИИ

Microsoft и Стэнфордский университет разработали Trace - новый Python-фреймворк для автоматической оптимизации ИИ-систем.

Основанный на новой математической формулировке OPTO.

Оптимизация с Trace Oracle (OPTO).
В OPTO оптимизатор выбирает параметры и получает вычислительный график трассировки выполнения, а также обратную связь по вычисленным выходным данным.

Эта формулировка является довольно общей и может описывать многие проблемы сквозной оптимизации в системах ИИ, выходящие за рамки нейронных сетей.

Этот ключевой вывод дает Trace основу для эффективной оптимизации ИИ.

Фреймворк позволяет создавать самоадаптирующихся ИИ-агентов без специализированной инженерии, оптимизируя код, промпты и гиперпараметры.

Trace в 1000 раз быстрее традиционного обучения с подкреплением и превосходит специализированные оптимизаторы в различных задачах.

Технология демонстрирует потенциал в оптимизации взаимодействия множества агентов, автоматически выстраивая графы их коммуникаций.

Очень интересно. Это мы пробуем.
GitHub: https://microsoft.github.io/Trace/

#Microsoft #Stanford #Trace
-------
@tsingular

🔥Mastering LLMs: Открытый курс по LLM от практиков

Я заметил, что очень хорошо разлетелся пост с ноутбуком для файнтюна LLaMa 3.1 в колабе. Поэтому принес вам еще имбовый курс по LLM от практиков для практиков. Он будет актуален для технических специалистов (включая инженеров и DS-ов), которые имеют некоторый опыт работы с LLM, да, я думаю, и для начинающих практиков он тоже хорошо зайдет.

Это набор лекций, которые покрывают такие прикладные темы как RAG, файн-тюнинг, промпт-инжиниринг, оценка качества моделей и прочее. Курс уникальный, потому что лекции ведут 25+ разных опытных чуваков из индустрии, которые являются экспертами по соответсвующим темам. Там ребята из Pytorch (Meta), Anthropic, Mistral, Fireworks-ai и других компаний.

Курс очень хорошо оформлен. К каждой лекции идут слайды, заметки, дополнительные ресурсы со ссылками и полный транскрипт видео.

Минимальные требования, чтобы успешно смотреть курс:
- Базовое знакомство с LLM-ками.
- Если такого опыт у вас нет, то рекомендуется начать с видео A Hacker’s Guide to LLMs от Джереми Ховарда, а также пройти туториал об Instruction Tuning LlaMa-2.

> Ссылка на курс: https://parlance-labs.com/education/

Давайте еще накидаем в комментах другие классные курсы по NLP, которые вы сами смотрели/проходили.

#ликбез
@ai_newz

Instagram запускает AI Studio для создания цифровых двойников

Популярная соцсеть представила новый инструмент для пользователей в США.
AI Studio позволяет создавать персонализированные AI-версии себя.
Цифровые двойники смогут общаться с подписчиками, отвечать на комментарии и вести чаты.
Создатели могут настраивать поведение AI на основе своего контента.
Предусмотрена возможность определить запрещённые темы для AI и выбрать аккаунты для взаимодействия.
AI-профили будут явно отмечены во всех публикациях.
Инструмент также позволит создавать новых AI-персонажей для использования в других приложениях компании.

Переименуйте уже в AIgramm что ли.

#Instagram #AIStudio #DigitalTwins
-------
@tsingular

Hugging Face и NVIDIA ускоряют инференс ИИ-моделей

NVIDIA открыли NIM для разработчиков и сразу Hugging Face представил новый сервис инференса, работающий на базе NIM и DGX Cloud.

Через HF разработчики получат быстрый доступ к NIM и возможность быстро поднимать и тестировать популярные модели.
Работает всё на DGX Cloud, - за счёт этого гибкая масштабируемость GPU-ресурсов.

Простота и скорость, - за что уважаю HF.

#HuggingFace #NVIDIA #NIM
-------
@tsingular

Amazon разрабатывает собственные ИИ чипы

Корпорация Amazon разрабатывает собственные AI-процессоры, стремясь снизить зависимость от Nvidia.
Цель - предоставить клиентам более доступные варианты для сложных вычислений.

После приобретения Annapurna Labs, Amazon уже выпускает чипы Graviton, Trainium и Inferentia.

Компания заявляет о 40-50% преимуществе в соотношении цена/производительность по сравнению с решениями Nvidia.

На недавнем Prime Day Amazon задействовала 250 000 Graviton и 80 000 AI-чипов собственного производства.

Параллельно OpenAI партнёрится с Broadcom:
https://www.ixbt.com/news/2024/07/28/openai-broadcom-nvidia-700.html
Microsoft тоже пилит свои:
https://habr.com/ru/companies/ru_mts/articles/775692/
и Google:
https://lenta.ru/news/2024/04/10/axion/

Все пытаются запускать свои линейки, но продолжают потреблять Nvidia гигантскими объёмами.

#Amazon #Nvidia #AIchips
-------
@tsingular

Canva покупает Leonardo.AI

Австралийский стартап Canva приобрел компанию Leonardo.AI, специализирующуюся на генеративном искусственном интеллекте.
Сделка позволит интегрировать ИИ-инструменты для создания изображений и видео в популярную платформу для дизайна.
Пользователи смогут генерировать контент по текстовым запросам в выбранной эстетике и обучать модели на собственных данных.
Это отражает растущий тренд использования ИИ в индустрии дизайна и создания контента.
Ожидается, что глобальный рынок ИИ-инструментов для дизайна вырастет с 4,4 млрд $ в 2023 году до 26,5 млрд $ к 2033 году.

Скоро дизайнеры будут не рисовать, а писать промпты. 🎨✍️

#Canva #LeonardoAI #GenerativeAI
-------
@tsingular