И еще в копилку разбора Llama 3.1 иллюстрация от Daniel Han из unsloth.ai:
1. 15.6T tokens, Tools & Multilingual
2. Llama arch + new RoPE
3. fp16 & static fp8 quant for 405b
4. Dedicated pad token
5. <|python_tag|><|eom_id|> for tools?
6. Roberta to classify good quality data
7. 6 staged 800B tokens long context expansion
1. Новый метод расширения RoPE.
Использует интересный низкий и высокий коэффициент масштабирования и масштабирует вектор inv_freq — его можно вычислить за 1 проход, поэтому нет необходимости в динамических повторных вычислениях. Использовался 6-этапный подход к увеличению количества токенов с 8 000 до 128 000 с использованием токенов 800B.
2. Обучение
От 38% до 43% MFU с использованием bfloat16. Используется конвейерный параллелизм + FSDP. Усреднение модели для этапов RM, SFT и DPO.
3. Смесь данных
50% общие знания
25% математика и рассуждения
17% кодируют данные и задачи
8% многоязычных данных
4. Этапы предварительной обработки
Использует Roberta, DistilRoberta, fasttext для фильтрации данных хорошего качества. Множество средств дедупликации и эвристики для удаления неверных данных.
5. Квантование с fp8
Квантует веса до fp8 и ввод до fp8, затем умножает на коэффициенты масштабирования. fp8 x fp8, тогда выход будет bf16. Быстрее для вывода и меньше использования VRAM.
6. Эксперименты со зрением и речью
Команда Llama 3.1 также обучила адаптеры зрения и речи — правда, не выпущенные, но очень крутые!
#llama #unsloth
———
@tsingular
1. 15.6T tokens, Tools & Multilingual
2. Llama arch + new RoPE
3. fp16 & static fp8 quant for 405b
4. Dedicated pad token
5. <|python_tag|><|eom_id|> for tools?
6. Roberta to classify good quality data
7. 6 staged 800B tokens long context expansion
1. Новый метод расширения RoPE.
Использует интересный низкий и высокий коэффициент масштабирования и масштабирует вектор inv_freq — его можно вычислить за 1 проход, поэтому нет необходимости в динамических повторных вычислениях. Использовался 6-этапный подход к увеличению количества токенов с 8 000 до 128 000 с использованием токенов 800B.
2. Обучение
От 38% до 43% MFU с использованием bfloat16. Используется конвейерный параллелизм + FSDP. Усреднение модели для этапов RM, SFT и DPO.
3. Смесь данных
50% общие знания
25% математика и рассуждения
17% кодируют данные и задачи
8% многоязычных данных
4. Этапы предварительной обработки
Использует Roberta, DistilRoberta, fasttext для фильтрации данных хорошего качества. Множество средств дедупликации и эвристики для удаления неверных данных.
5. Квантование с fp8
Квантует веса до fp8 и ввод до fp8, затем умножает на коэффициенты масштабирования. fp8 x fp8, тогда выход будет bf16. Быстрее для вывода и меньше использования VRAM.
6. Эксперименты со зрением и речью
Команда Llama 3.1 также обучила адаптеры зрения и речи — правда, не выпущенные, но очень крутые!
#llama #unsloth
———
@tsingular
Forwarded from Сиолошная
1) 128K контекст (как у LLAMA-3.1)
2) Поддержка языков: Английский, французский, немецкий, испанский, итальянский, португальский, голландский, русский, китайский, японский, корейский, арабский и хинди
3) прокачали математику и программирование — на картинке метрики для разных ЯП на бенчмарке MultiPL-E
4) также, как и в LLAMA-3.1, улучшили следование инструкциям и использование инструментов
5) лицензия не позволяет коммерческое использование, но можно свободно заниматься исследовательской деятельностью
Блог
Модель на HF 🤗
Возможно, моделька потеряется на фоне релизов LLAMA (кроме мб программирования). Она слишком большая для локального использования, а в API есть LLAMA побольше и покачественнее, и поменьше но подешевле, ну и OpenAI никуда не делись. Зато на La Platforme можно будет теперь запускать дообучение. Цена у самих французов $3 и $9 за миллион токенов на входе/выходе — СИИИИЛЬНО больше 70B LLAMA, и совсем немногим дешевле GPT-4o.
Please open Telegram to view this post
VIEW IN TELEGRAM
Udio обновилась до версии 1.5
Udio выпустила обновление AI-генератора музыки.
Версия 1.5 предлагает улучшенное качество звука, более точный контроль тональности и поддержку большего количества языков.
Так же обновилась страница для создания контента, загрузки стемов и ремикса загруженного аудио.
Платформа теперь генерирует 48 кГц стерео треки с повышенной четкостью и улучшенным разделением инструментов.
Добавлена возможность создания видео с текстом песен.
Точность тональности в структуре песен и правда повысилась.
#Udio #MusicAI #AudioGeneration
-------
@tsingular
Udio выпустила обновление AI-генератора музыки.
Версия 1.5 предлагает улучшенное качество звука, более точный контроль тональности и поддержку большего количества языков.
Так же обновилась страница для создания контента, загрузки стемов и ремикса загруженного аудио.
Платформа теперь генерирует 48 кГц стерео треки с повышенной четкостью и улучшенным разделением инструментов.
Добавлена возможность создания видео с текстом песен.
Точность тональности в структуре песен и правда повысилась.
#Udio #MusicAI #AudioGeneration
-------
@tsingular
Первая информация о Samsung 'AI Phones'
Samsung разрабатывает 'AI Phones' - устройства, полностью основанные на ИИ.
Президент мобильного подразделения TM Roh подтвердил работу над проектом.
Зарегистрированы торговые марки 'AI Phone' и 'AI Smartphone'.
По информации из интервью, дизайн смартфонов может радикально отличаться от того, что принято сегодня.
Ожидаются большие экраны и дополнительные датчики.
Возможны варианты с новыми, экспериментальными форм-факторами и интеграция с Galaxy AI.
С экранами спорно.
Пора уже в будущих моделях голографические экраны или проецирование на сетчатку проектировать.
#Samsung #AIphones #GalaxyAI
-------
@tsingular
Samsung разрабатывает 'AI Phones' - устройства, полностью основанные на ИИ.
Президент мобильного подразделения TM Roh подтвердил работу над проектом.
Зарегистрированы торговые марки 'AI Phone' и 'AI Smartphone'.
По информации из интервью, дизайн смартфонов может радикально отличаться от того, что принято сегодня.
Ожидаются большие экраны и дополнительные датчики.
Возможны варианты с новыми, экспериментальными форм-факторами и интеграция с Galaxy AI.
С экранами спорно.
Пора уже в будущих моделях голографические экраны или проецирование на сетчатку проектировать.
#Samsung #AIphones #GalaxyAI
-------
@tsingular
MIT создал MAIA: ИИ для улучшения ИИ
Учёные MIT разработали MAIA - систему для автоматического улучшения нейросетей.
MAIA использует предобученную мультимодальную модель и набор инструментов для экспериментов с ИИ-подсистемами.
Она может генерировать гипотезы, проводить опыты и уточнять понимание через итеративный анализ.
Например, система способна описывать концепты в моделях компьютерного зрения и выявлять скрытые предубеждения.
MAIA превзошла базовые методы в описании отдельных нейронов различных моделей.
Её можно применять для аудита ИИ-моделей на предмет безопасности перед внедрением.
Автоматизированная эволюция запущена.
Пэйпер:
https://arxiv.org/pdf/2404.14394.pdf
#MIT #MAIA #InterpretableAI
-------
@tsingular
Учёные MIT разработали MAIA - систему для автоматического улучшения нейросетей.
MAIA использует предобученную мультимодальную модель и набор инструментов для экспериментов с ИИ-подсистемами.
Она может генерировать гипотезы, проводить опыты и уточнять понимание через итеративный анализ.
Например, система способна описывать концепты в моделях компьютерного зрения и выявлять скрытые предубеждения.
MAIA превзошла базовые методы в описании отдельных нейронов различных моделей.
Её можно применять для аудита ИИ-моделей на предмет безопасности перед внедрением.
Автоматизированная эволюция запущена.
Пэйпер:
https://arxiv.org/pdf/2404.14394.pdf
#MIT #MAIA #InterpretableAI
-------
@tsingular
🔥2
Media is too big
VIEW IN TELEGRAM
Miro представляет Intelligent Canvas с ИИ функциями
Miro запустила Intelligent Canvas - обновление платформы для совместной работы с интегрированным ИИ.
Обновления коснулись:
Spaces - для организации проектов, режимы для специфических задач и интеллектуальные виджеты.
Composable workflows позволяет автоматизировать рабочие процессы. По умолчанию доступно 12 умных шаблонов для разных сценариев.
ИИ-функции доступны в контекстном меню.
Кнопки "Create with AI" и AI Sidekicks задействуют виртуальных помощников в проектах.
ИИ поможет группировать стикеры, создавать документы, диаграммы и изображения, а также добавлять комментарии.
Для использования ИИ-возможностей введена система кредитов, объём которых зависит от плана подписки.
#Miro #CollaborationTools #IntelligentCanvas
-------
@tsingular
Miro запустила Intelligent Canvas - обновление платформы для совместной работы с интегрированным ИИ.
Обновления коснулись:
Spaces - для организации проектов, режимы для специфических задач и интеллектуальные виджеты.
Composable workflows позволяет автоматизировать рабочие процессы. По умолчанию доступно 12 умных шаблонов для разных сценариев.
ИИ-функции доступны в контекстном меню.
Кнопки "Create with AI" и AI Sidekicks задействуют виртуальных помощников в проектах.
ИИ поможет группировать стикеры, создавать документы, диаграммы и изображения, а также добавлять комментарии.
Для использования ИИ-возможностей введена система кредитов, объём которых зависит от плана подписки.
#Miro #CollaborationTools #IntelligentCanvas
-------
@tsingular
Forwarded from e/acc
This media is not supported in your browser
VIEW IN TELEGRAM
А на этом видео показан инференс новой Ламы 3.1 на чипах компании Groq. Вот именно так должно выглядеть взаимодействие с ИИ-ассиьентами: мгновенный, точный, продуманный ответ и решение задачи.
❤🔥1🔥1
Forwarded from PWN AI (Artyom Semenov)
OWASP AI EXCHANGE выпустил "Periodic Table of AI Security".
Таблица показывает различные угрозы для ИИ и защитные методы против них. Заметим, что это не ссылки на коммерческие решения, а описания mitigations непосредственно на их ресурсе, но всё равно круто выглядит.
Интересно рассматривать это как фреймворк по безопасности ИИ🤔🤔🤔.
➡️ КЛИК, ЧТОБЫ ПЕРЕЙТИ НА САЙТ С ТАБЛИЦЕЙ
➡️ КЛИК, ЧТОБЫ СКАЧАТЬ PDF
Таблица показывает различные угрозы для ИИ и защитные методы против них. Заметим, что это не ссылки на коммерческие решения, а описания mitigations непосредственно на их ресурсе, но всё равно круто выглядит.
Интересно рассматривать это как фреймворк по безопасности ИИ🤔🤔🤔.
Please open Telegram to view this post
VIEW IN TELEGRAM
ИИ от DeepMind заработал серебро на математической олимпиаде
Системы AlphaProof и AlphaGeometry 2 от Google DeepMind решили 4 из 6 задач IMO 2024, набрав 28 из 42 баллов.
AlphaProof, использующий обучение с подкреплением и язык Lean, справился с алгеброй и теорией чисел.
AlphaGeometry 2 решил геометрическую задачу за 19 секунд.
Системы решили самую сложную задачу, доступную лишь 5 участникам.
DeepMind также тестирует систему рассуждений на естественном языке на базе Gemini.
Прорыв в решении математических задач сравним с запуском Спутника-1 в 1957м:
как сейчас нельзя представить высокие технологии без космоса, так и в будущем способность ИИ к решению математических задач будет фундаментально влиять на технологический прогресс.
#DeepMind #maths
-------
@tsingular
Системы AlphaProof и AlphaGeometry 2 от Google DeepMind решили 4 из 6 задач IMO 2024, набрав 28 из 42 баллов.
AlphaProof, использующий обучение с подкреплением и язык Lean, справился с алгеброй и теорией чисел.
AlphaGeometry 2 решил геометрическую задачу за 19 секунд.
Системы решили самую сложную задачу, доступную лишь 5 участникам.
DeepMind также тестирует систему рассуждений на естественном языке на базе Gemini.
Прорыв в решении математических задач сравним с запуском Спутника-1 в 1957м:
как сейчас нельзя представить высокие технологии без космоса, так и в будущем способность ИИ к решению математических задач будет фундаментально влиять на технологический прогресс.
#DeepMind #maths
-------
@tsingular
❤🔥1
Google обновил Gemini 1.5 Flash и сделал её доступной бесплатно
- Улучшено качество и скорость ответов
- Расширено контекстное окно до 32K токенов
- Добавлена возможность загрузки файлов через Google Drive
- Доступен анализ данных и создание визуализаций
- Поддержка 40+ языков в 230+ странах
- Добавлены функции связанного контента и двойной проверки ответов.
В Европе Gemini интегрирован в Google Messages для Android.
#Gemini #GoogleAI #AIAssistant
-------
@tsingular
- Улучшено качество и скорость ответов
- Расширено контекстное окно до 32K токенов
- Добавлена возможность загрузки файлов через Google Drive
- Доступен анализ данных и создание визуализаций
- Поддержка 40+ языков в 230+ странах
- Добавлены функции связанного контента и двойной проверки ответов.
В Европе Gemini интегрирован в Google Messages для Android.
#Gemini #GoogleAI #AIAssistant
-------
@tsingular
Китай запускает первый в мире ториевый реактор
Поднебесная готовится к запуску революционного ядерного реактора на расплавленных солях тория в пустыне Гоби к 2025 году.
Инновационная установка использует торий вместо урана и охлаждается жидкой солью или CO2, а не водой.
Технология обещает повышенную безопасность, работу при нормальном давлении и меньше радиоактивных отходов.
Проект соответствует курсу КНР на диверсификацию энергетики и достижение углеродной нейтральности.
Успешная эксплуатация может стать ориентиром для других стран, заинтересованных в альтернативной атомной энергетике.
Китай с невероятной скоростью развивает энергетику вообще.
Вот кому точно хватит на питание сверхмощных ИИ кластеров.
#thorium #nuclear #MoltenSaltReactor
-------
@tsingular
Поднебесная готовится к запуску революционного ядерного реактора на расплавленных солях тория в пустыне Гоби к 2025 году.
Инновационная установка использует торий вместо урана и охлаждается жидкой солью или CO2, а не водой.
Технология обещает повышенную безопасность, работу при нормальном давлении и меньше радиоактивных отходов.
Проект соответствует курсу КНР на диверсификацию энергетики и достижение углеродной нейтральности.
Успешная эксплуатация может стать ориентиром для других стран, заинтересованных в альтернативной атомной энергетике.
Китай с невероятной скоростью развивает энергетику вообще.
Вот кому точно хватит на питание сверхмощных ИИ кластеров.
#thorium #nuclear #MoltenSaltReactor
-------
@tsingular
❤🔥2
IBM представляет AI-Hilbert: ИИ-ученый для научных открытий
Исследователи IBM разработали AI-Hilbert - систему для генерации новых научных теорий.
Алгоритм объединяет существующие знания и экспериментальные данные для создания интерпретируемых математических моделей.
Использует алгебраическую геометрию и оптимизацию для поиска научных законов.
Способен воспроизводить известные законы и генерировать новые в условиях ограниченных данных.
Исходники AI-Hilbert доступны в открытом доступе: https://github.com/IBM/AI-Hilbert
Следом за победами Гугла на математической олимпиаде, кстати, смотрится очень органично.
#IBM #AIHilbert #ScientificDiscovery
-------
@tsingular
Исследователи IBM разработали AI-Hilbert - систему для генерации новых научных теорий.
Алгоритм объединяет существующие знания и экспериментальные данные для создания интерпретируемых математических моделей.
Использует алгебраическую геометрию и оптимизацию для поиска научных законов.
Способен воспроизводить известные законы и генерировать новые в условиях ограниченных данных.
Исходники AI-Hilbert доступны в открытом доступе: https://github.com/IBM/AI-Hilbert
Следом за победами Гугла на математической олимпиаде, кстати, смотрится очень органично.
#IBM #AIHilbert #ScientificDiscovery
-------
@tsingular
👍2🔥2❤🔥1
ИИ учится «мыслить» по-человечески
Учёные создают RTNet - модель ИИ, имитирующую человеческое мышление.
Система демонстрирует стохастическое принятие решений и оценку уверенности.
Исследователи ASU разрабатывают динамическую память на основе резервуарных вычислений.
Новый подход позволяет ИИ воспринимать, хранить и проецировать паттерны во времени.
Технология может помочь решать сложные динамические задачи, ранее недоступные ИИ.
Учёные изучают компромиссы между скоростью и точностью обработки информации.
Настоящий эффект от ИИ мы увидим, когда будет избыточность мощности для саморефлексии во времени.
Это ещё примерно 3-4 порядка.
#RTNet #ReservoirComputing #HumanLikeAI
-------
@tsingular
Учёные создают RTNet - модель ИИ, имитирующую человеческое мышление.
Система демонстрирует стохастическое принятие решений и оценку уверенности.
Исследователи ASU разрабатывают динамическую память на основе резервуарных вычислений.
Новый подход позволяет ИИ воспринимать, хранить и проецировать паттерны во времени.
Технология может помочь решать сложные динамические задачи, ранее недоступные ИИ.
Учёные изучают компромиссы между скоростью и точностью обработки информации.
Настоящий эффект от ИИ мы увидим, когда будет избыточность мощности для саморефлексии во времени.
Это ещё примерно 3-4 порядка.
#RTNet #ReservoirComputing #HumanLikeAI
-------
@tsingular
Microsoft и Стэнфорд представляют Trace: фреймворк для оптимизации ИИ
Microsoft и Стэнфордский университет разработали Trace - новый Python-фреймворк для автоматической оптимизации ИИ-систем.
Основанный на новой математической формулировке OPTO.
Оптимизация с Trace Oracle (OPTO).
В OPTO оптимизатор выбирает параметры и получает вычислительный график трассировки выполнения, а также обратную связь по вычисленным выходным данным.
Эта формулировка является довольно общей и может описывать многие проблемы сквозной оптимизации в системах ИИ, выходящие за рамки нейронных сетей.
Этот ключевой вывод дает Trace основу для эффективной оптимизации ИИ.
Фреймворк позволяет создавать самоадаптирующихся ИИ-агентов без специализированной инженерии, оптимизируя код, промпты и гиперпараметры.
Trace в 1000 раз быстрее традиционного обучения с подкреплением и превосходит специализированные оптимизаторы в различных задачах.
Технология демонстрирует потенциал в оптимизации взаимодействия множества агентов, автоматически выстраивая графы их коммуникаций.
Очень интересно. Это мы пробуем.
GitHub: https://microsoft.github.io/Trace/
#Microsoft #Stanford #Trace
-------
@tsingular
Microsoft и Стэнфордский университет разработали Trace - новый Python-фреймворк для автоматической оптимизации ИИ-систем.
Основанный на новой математической формулировке OPTO.
Оптимизация с Trace Oracle (OPTO).
В OPTO оптимизатор выбирает параметры и получает вычислительный график трассировки выполнения, а также обратную связь по вычисленным выходным данным.
Эта формулировка является довольно общей и может описывать многие проблемы сквозной оптимизации в системах ИИ, выходящие за рамки нейронных сетей.
Этот ключевой вывод дает Trace основу для эффективной оптимизации ИИ.
Фреймворк позволяет создавать самоадаптирующихся ИИ-агентов без специализированной инженерии, оптимизируя код, промпты и гиперпараметры.
Trace в 1000 раз быстрее традиционного обучения с подкреплением и превосходит специализированные оптимизаторы в различных задачах.
Технология демонстрирует потенциал в оптимизации взаимодействия множества агентов, автоматически выстраивая графы их коммуникаций.
Очень интересно. Это мы пробуем.
GitHub: https://microsoft.github.io/Trace/
#Microsoft #Stanford #Trace
-------
@tsingular
Forwarded from эйай ньюз
🔥Mastering LLMs: Открытый курс по LLM от практиков
Я заметил, что очень хорошо разлетелся пост с ноутбуком для файнтюна LLaMa 3.1 в колабе. Поэтому принес вам еще имбовый курс по LLM от практиков для практиков. Он будет актуален для технических специалистов (включая инженеров и DS-ов), которые имеют некоторый опыт работы с LLM, да, я думаю, и для начинающих практиков он тоже хорошо зайдет.
Это набор лекций, которые покрывают такие прикладные темы как RAG, файн-тюнинг, промпт-инжиниринг, оценка качества моделей и прочее. Курс уникальный, потому что лекции ведут 25+ разных опытных чуваков из индустрии, которые являются экспертами по соответсвующим темам. Там ребята из Pytorch (Meta), Anthropic, Mistral, Fireworks-ai и других компаний.
Курс очень хорошо оформлен. К каждой лекции идут слайды, заметки, дополнительные ресурсы со ссылками и полный транскрипт видео.
Минимальные требования, чтобы успешно смотреть курс:
- Базовое знакомство с LLM-ками.
- Если такого опыт у вас нет, то рекомендуется начать с видео A Hacker’s Guide to LLMs от Джереми Ховарда, а также пройти туториал об Instruction Tuning LlaMa-2.
> Ссылка на курс: https://parlance-labs.com/education/
Давайте еще накидаем в комментах другие классные курсы по NLP, которые вы сами смотрели/проходили.
#ликбез
@ai_newz
Я заметил, что очень хорошо разлетелся пост с ноутбуком для файнтюна LLaMa 3.1 в колабе. Поэтому принес вам еще имбовый курс по LLM от практиков для практиков. Он будет актуален для технических специалистов (включая инженеров и DS-ов), которые имеют некоторый опыт работы с LLM, да, я думаю, и для начинающих практиков он тоже хорошо зайдет.
Это набор лекций, которые покрывают такие прикладные темы как RAG, файн-тюнинг, промпт-инжиниринг, оценка качества моделей и прочее. Курс уникальный, потому что лекции ведут 25+ разных опытных чуваков из индустрии, которые являются экспертами по соответсвующим темам. Там ребята из Pytorch (Meta), Anthropic, Mistral, Fireworks-ai и других компаний.
Курс очень хорошо оформлен. К каждой лекции идут слайды, заметки, дополнительные ресурсы со ссылками и полный транскрипт видео.
Минимальные требования, чтобы успешно смотреть курс:
- Базовое знакомство с LLM-ками.
- Если такого опыт у вас нет, то рекомендуется начать с видео A Hacker’s Guide to LLMs от Джереми Ховарда, а также пройти туториал об Instruction Tuning LlaMa-2.
> Ссылка на курс: https://parlance-labs.com/education/
Давайте еще накидаем в комментах другие классные курсы по NLP, которые вы сами смотрели/проходили.
#ликбез
@ai_newz
👍3
Instagram запускает AI Studio для создания цифровых двойников
Популярная соцсеть представила новый инструмент для пользователей в США.
AI Studio позволяет создавать персонализированные AI-версии себя.
Цифровые двойники смогут общаться с подписчиками, отвечать на комментарии и вести чаты.
Создатели могут настраивать поведение AI на основе своего контента.
Предусмотрена возможность определить запрещённые темы для AI и выбрать аккаунты для взаимодействия.
AI-профили будут явно отмечены во всех публикациях.
Инструмент также позволит создавать новых AI-персонажей для использования в других приложениях компании.
Переименуйте уже в AIgramm что ли.
#Instagram #AIStudio #DigitalTwins
-------
@tsingular
Популярная соцсеть представила новый инструмент для пользователей в США.
AI Studio позволяет создавать персонализированные AI-версии себя.
Цифровые двойники смогут общаться с подписчиками, отвечать на комментарии и вести чаты.
Создатели могут настраивать поведение AI на основе своего контента.
Предусмотрена возможность определить запрещённые темы для AI и выбрать аккаунты для взаимодействия.
AI-профили будут явно отмечены во всех публикациях.
Инструмент также позволит создавать новых AI-персонажей для использования в других приложениях компании.
Переименуйте уже в AIgramm что ли.
#Instagram #AIStudio #DigitalTwins
-------
@tsingular
👍2
Hugging Face и NVIDIA ускоряют инференс ИИ-моделей
NVIDIA открыли NIM для разработчиков и сразу Hugging Face представил новый сервис инференса, работающий на базе NIM и DGX Cloud.
Через HF разработчики получат быстрый доступ к NIM и возможность быстро поднимать и тестировать популярные модели.
Работает всё на DGX Cloud, - за счёт этого гибкая масштабируемость GPU-ресурсов.
Простота и скорость, - за что уважаю HF.
#HuggingFace #NVIDIA #NIM
-------
@tsingular
NVIDIA открыли NIM для разработчиков и сразу Hugging Face представил новый сервис инференса, работающий на базе NIM и DGX Cloud.
Через HF разработчики получат быстрый доступ к NIM и возможность быстро поднимать и тестировать популярные модели.
Работает всё на DGX Cloud, - за счёт этого гибкая масштабируемость GPU-ресурсов.
Простота и скорость, - за что уважаю HF.
#HuggingFace #NVIDIA #NIM
-------
@tsingular
❤🔥2
Amazon разрабатывает собственные ИИ чипы
Корпорация Amazon разрабатывает собственные AI-процессоры, стремясь снизить зависимость от Nvidia.
Цель - предоставить клиентам более доступные варианты для сложных вычислений.
После приобретения Annapurna Labs, Amazon уже выпускает чипы Graviton, Trainium и Inferentia.
Компания заявляет о 40-50% преимуществе в соотношении цена/производительность по сравнению с решениями Nvidia.
На недавнем Prime Day Amazon задействовала 250 000 Graviton и 80 000 AI-чипов собственного производства.
Параллельно OpenAI партнёрится с Broadcom:
https://www.ixbt.com/news/2024/07/28/openai-broadcom-nvidia-700.html
Microsoft тоже пилит свои:
https://habr.com/ru/companies/ru_mts/articles/775692/
и Google:
https://lenta.ru/news/2024/04/10/axion/
Все пытаются запускать свои линейки, но продолжают потреблять Nvidia гигантскими объёмами.
#Amazon #Nvidia #AIchips
-------
@tsingular
Корпорация Amazon разрабатывает собственные AI-процессоры, стремясь снизить зависимость от Nvidia.
Цель - предоставить клиентам более доступные варианты для сложных вычислений.
После приобретения Annapurna Labs, Amazon уже выпускает чипы Graviton, Trainium и Inferentia.
Компания заявляет о 40-50% преимуществе в соотношении цена/производительность по сравнению с решениями Nvidia.
На недавнем Prime Day Amazon задействовала 250 000 Graviton и 80 000 AI-чипов собственного производства.
Параллельно OpenAI партнёрится с Broadcom:
https://www.ixbt.com/news/2024/07/28/openai-broadcom-nvidia-700.html
Microsoft тоже пилит свои:
https://habr.com/ru/companies/ru_mts/articles/775692/
и Google:
https://lenta.ru/news/2024/04/10/axion/
Все пытаются запускать свои линейки, но продолжают потреблять Nvidia гигантскими объёмами.
#Amazon #Nvidia #AIchips
-------
@tsingular
Canva покупает Leonardo.AI
Австралийский стартап Canva приобрел компанию Leonardo.AI, специализирующуюся на генеративном искусственном интеллекте.
Сделка позволит интегрировать ИИ-инструменты для создания изображений и видео в популярную платформу для дизайна.
Пользователи смогут генерировать контент по текстовым запросам в выбранной эстетике и обучать модели на собственных данных.
Это отражает растущий тренд использования ИИ в индустрии дизайна и создания контента.
Ожидается, что глобальный рынок ИИ-инструментов для дизайна вырастет с 4,4 млрд $ в 2023 году до 26,5 млрд $ к 2033 году.
Скоро дизайнеры будут не рисовать, а писать промпты. 🎨✍️
#Canva #LeonardoAI #GenerativeAI
-------
@tsingular
Австралийский стартап Canva приобрел компанию Leonardo.AI, специализирующуюся на генеративном искусственном интеллекте.
Сделка позволит интегрировать ИИ-инструменты для создания изображений и видео в популярную платформу для дизайна.
Пользователи смогут генерировать контент по текстовым запросам в выбранной эстетике и обучать модели на собственных данных.
Это отражает растущий тренд использования ИИ в индустрии дизайна и создания контента.
Ожидается, что глобальный рынок ИИ-инструментов для дизайна вырастет с 4,4 млрд $ в 2023 году до 26,5 млрд $ к 2033 году.
Скоро дизайнеры будут не рисовать, а писать промпты. 🎨✍️
#Canva #LeonardoAI #GenerativeAI
-------
@tsingular
👍2
ИИ-ассистенты захватывают финансовый мир
Крупнейшие финансовые гиганты внедряют генеративный ИИ в свои процессы.
JPMorgan Chase запустил чат-бот LLM Suite для работы с документами.
Morgan Stanley представил Debrief - программу для обработки клиентских звонков.
ИИ-инструменты экономят аналитикам до 4 часов ежедневно.
98% финансовых консультантов Morgan Stanley уже используют ИИ-ассистентов.
Технологии применяются для привлечения клиентов, инвестиционных рекомендаций и автоматизации.
JPMorgan оценивает дополнительную стоимость от ИИ в $1-1,5 млрд.
#WallStreet #JPMorgan #MorganStanley
-------
@tsingular
Крупнейшие финансовые гиганты внедряют генеративный ИИ в свои процессы.
JPMorgan Chase запустил чат-бот LLM Suite для работы с документами.
Morgan Stanley представил Debrief - программу для обработки клиентских звонков.
ИИ-инструменты экономят аналитикам до 4 часов ежедневно.
98% финансовых консультантов Morgan Stanley уже используют ИИ-ассистентов.
Технологии применяются для привлечения клиентов, инвестиционных рекомендаций и автоматизации.
JPMorgan оценивает дополнительную стоимость от ИИ в $1-1,5 млрд.
#WallStreet #JPMorgan #MorganStanley
-------
@tsingular
🔥2
Британское правительство ищет промпт-инженера
Институт безопасности ИИ (AISI) при правительстве Великобритании открыл вакансию старшего промпт-инженера.
Цель - предотвращение катастрофических рисков от автономных систем искусственного интеллекта.
Задачи включают выявление опасных возможностей передовых моделей и улучшение их способности раскрывать критическую информацию.
Требуется опыт работы с крупномасштабными языковыми моделями, навыки программирования на Python и знание инструментов машинного обучения.
Кандидат будет сотрудничать с экспертами в областях химии, биологии, кибербезопасности и социальных наук.
Похоже, правительства начинают всерьез задумываться о рисках ИИ.
#PromptEngineering #AISafety #AISI
-------
@tsingular
Институт безопасности ИИ (AISI) при правительстве Великобритании открыл вакансию старшего промпт-инженера.
Цель - предотвращение катастрофических рисков от автономных систем искусственного интеллекта.
Задачи включают выявление опасных возможностей передовых моделей и улучшение их способности раскрывать критическую информацию.
Требуется опыт работы с крупномасштабными языковыми моделями, навыки программирования на Python и знание инструментов машинного обучения.
Кандидат будет сотрудничать с экспертами в областях химии, биологии, кибербезопасности и социальных наук.
Похоже, правительства начинают всерьез задумываться о рисках ИИ.
#PromptEngineering #AISafety #AISI
-------
@tsingular
⚡3