Microsoft нацелена на 1,8 млн GPU к концу 2024 года

Согласно внутреннему документу, Microsoft планирует накопить 1,8 миллиона чипов ИИ (GPU) к концу 2024 года для ускорения развития генеративного ИИ. 🚀
Компания стремится сделать ИИ более быстрым, качественным и доступным, но сильно зависит от закупок GPU, в основном от Nvidia.
Ожидается, что с текущего финансового года до 2027 года Microsoft потратит около $100 млрд на GPU и дата-центры. 💰
Другие технологические гиганты также наращивают запасы GPU, что привело к росту капитализации Nvidia до $2 трлн.
Microsoft разрабатывает собственные чипы ИИ, чтобы снизить зависимость от Nvidia, но пока отстает на несколько лет.

Гонка вооружений в области ИИ набирает обороты.
Победит тот, у кого больше GPU и электричества.

#Microsoft #Nvidia #GPU
-------
@tsingular

SAP внедряет ИИ-инновации в управление цепочками поставок

На Ганноверской ярмарке SAP анонсировала ИИ-инновации для решений по управлению цепочками поставок. 🚚
Интеллектуальная аналитика на основе данных в реальном времени поможет компаниям принимать обоснованные решения, оптимизировать разработку продуктов и повысить эффективность производства. 📈
Решения SAP уже принесли клиентам пользу:
- Повышение производительности цепочки поставок на 15%
- Снижение затрат на планирование на 10%
- Сокращение складских затрат и оборачиваемости запасов на 10%
Большинство руководителей по цепочкам поставок (63%) и операциям (52%) имеют стратегию ИИ, связанную с бизнес-целями. 🎯
51% внедряют ИИ для принятия решений в реальном времени, а 58% - для повышения операционной эффективности. 💡

Скоро SAP ERP будет сам себя внедрять, а консультанты пойдут на завод. 😅

#SAP #SupplyChain #Hannover
-------
@tsingular

Microsoft представила новое семейство языковых моделей Phi-3

Microsoft анонсировала релиз Phi-3 - нового семейства компактных, но мощных языковых моделей, превосходящих аналоги благодаря уникальному подходу к обработке данных и процедурам безопасности.
Phi-3-mini с 3.8 млрд параметров демонстрирует впечатляющие результаты на тестах MMLU (68.8%), GSM-8K (82.5%) и других, соперничая с гораздо более крупными GPT-3.5 и Mixtral 8x7B.
Модель тренировалась на тщательно отфильтрованных веб-данных и синтетических данных, сгенерированных другими большими языковыми моделями.
Более крупные варианты Phi-3-small (7B) и Phi-3-medium (14B) показывают еще более высокую производительность.

Релиз Phi-3 следом за Llama 3 - очень вовремя.
Интересно будет сравнить, но пока на HF нет, есть только папир:
https://arxiv.org/pdf/2404.14219.pdf

#Microsoft #Phi-3 #LanguageModel
-------
@tsingular

🦾 Dataset of 15 trillion tokens

Только что был опубликован датасет из 15 триллионов токенов (столько же, сколько было использовано для обучения Llama 3)!!!

Скачайте его, пока он не был удален из-за авторских прав.

https://huggingface.co/datasets/HuggingFaceFW/fineweb

@data_analysis_ml

Amazon Bedrock упрощает создание генеративных ИИ-приложений

Amazon представила новые возможности платформы Bedrock для разработки и масштабирования генеративных ИИ-приложений.
Расширен выбор моделей, включая решения от AI21 Labs, Anthropic, Cohere, Mistral AI, Stability AI и собственные модели Amazon Titan.
Добавлена поддержка моделей Llama 3 8B и 70B, Cohere Command R и Command R+.
В общем доступе генератор изображений Amazon Titan Image Generator.
Анонсирован Amazon Titan Text Embeddings V2.
Инструмент Model Evaluation упростит оценку и сравнение моделей LLM и FM.
Agents for Amazon Bedrock для создания конкретных задач и рабочих процессов.
Custom Model Import позволяет использовать собственные модели.
Guardrails for Amazon Bedrock предотвратит утечки данных и распространение вредного контента.

AWS, пожалуй, одна из самых мощных экосистем для ИИ.

#AmazonBedrock #GenerativeAI #LLM
-------
@tsingular

Adobe упрощает использование ИИ-инструментов в Photoshop с новой моделью Firefly

Новый инструмент Reference Image позволяет пользователям загружать собственные изображения как ориентир для генерации контента с помощью ИИ, упрощая процесс формулирования сложных текстовых запросов.
Adobe утверждает, что Reference Image безопасен для коммерческого использования, в отличие от конкурирующих моделей.
Другие новые ИИ-инструменты:
Generate Background для замены и создания фонов,
Enhance Detail для повышения четкости и
Generate Similar для генерации похожих изображений.
Новая модель Firefly Image 3 обладает более высоким качеством генерации, лучше понимает подробные запросы и может генерировать более четкий текст на изображениях.
Также добавлены новые стандартные инструменты:
Adjustment Brush для корректирующих изменений и улучшенный Font Browser.

#Photoshop #Firefly #ReferenceImage
-------
@tsingular

Coca-Cola и Microsoft ускоряют внедрение ИИ и облаков

Компании Coca-Cola и Microsoft объявили о 5-летнем стратегическом партнерстве для ускорения внедрения облачных технологий и инициатив в области генеративного ИИ.
Coca-Cola инвестирует $1.1 млрд в облако Microsoft и его возможности генеративного ИИ. Microsoft Cloud станет предпочтительной и стратегической облачной и ИИ-платформой для Coca-Cola на глобальном уровне.
Компании будут совместно экспериментировать с новыми технологиями, такими как Azure OpenAI Service, для разработки инновационных кейсов использования генеративного ИИ в различных бизнес-функциях, а также тестировать Copilot для Microsoft 365 для повышения производительности труда.
Coca-Cola уже около года внедряет генеративный ИИ и использовала Azure OpenAI Service для переосмысления процессов, от маркетинга до производства и цепочки поставок.

ИИ-Кола на фоне синего экрана :)

#CocaCola #Azure #Microsoft
-------
@tsingular

Microsoft выложила Phi-3-mini-128k-instruct на Hugging Face

Microsoft открыла исходный код модели Phi-3-mini-128k-instruct на платформе Hugging Face.
Эта легковесная, но продвинутая языковая модель имеет 3.8 млрд параметров.
Phi-3-mini получила обучение на синтетических данных и отфильтрованных публичных веб-сайтах.
Затем модель прошла тонкую настройку для улучшения понимания инструкций и безопасности.
На бенчмарках Phi-3 Mini показала передовые результаты среди моделей до 13 млрд параметров.
Модель нацелена на коммерческое и исследовательское применение на английском языке.
Microsoft предоставила примеры кода и оптимизированные ONNX-версии под лицензией MIT.

Погнали проверять :)
https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3


#Microsoft #Phi-3 #HuggingFace
-------
@tsingular

NVIDIA ускоряет открытую модель Microsoft Phi-3 Mini

NVIDIA объявила об ускорении новой открытой языковой модели Microsoft Phi-3 Mini с помощью библиотеки NVIDIA TensorRT-LLM.
Phi-3 Mini имеет 3,8 миллиарда параметров и была обучена всего за 7 дней на 512 GPU NVIDIA H100 Tensor Core.
Модель доступна в двух вариантах: с поддержкой 4К и 128К токенов, что является первой моделью такого класса для очень длинных контекстов.
Разработчики могут опробовать Phi-3 Mini с окном 128K на ai.nvidia.com, где она упакована как NVIDIA NIM.
TensorRT-LLM поддерживает длинный контекст Phi-3 Mini и использует оптимизации, улучшающие производительность и задержку вывода.
Это расширяет сотрудничество NVIDIA и Microsoft в области ИИ и открытого исходного кода.

Натренировали за 7 дней...
Такое ощущение, что все заняты AGI гонкой и на сдачу чисто выпускают актуальные модельки что бы не забывали в медиа поле...

#NVIDIA #Microsoft #Phi3Mini
-------
@tsingular

Периодически делаю акцент, что скорость входа в платформу должна измеряться минутами, желательно секундами в плане простоты подключения и первого запуска.

мой новый фаворит наравне с HF - Nvidia.

вот тут:
https://build.nvidia.com/explore/discover

без VPN и прочих шаманств.
за 30 секунд.
получили API ключ, скопировали код - вуаля - модель из облака работает.

#Nvidia #API
———
@tsingular

Эпоха скама конечно великая. Известный в широких кругах rabbit r1 (это оранжевая штука, которую дизайнили Teenage Engineering), который был с очень здравыми идеями про Large Action Model и т.д., оказался на деле всего лишь несколькими скриптами для автоматизации четырех приложений: Spotify, Midjourney, Doordash и UberEats. Может конечно всё ещё изменится в будущем, но пока вот так.

Теперь хейтеры занимаются сливом их сорцов. Началось все в треде на HackerNews. В интересное время живём.

🧬 #OpenAI разом убила все PDF-саммарайзеры — GPT научилась жевать по 10 тысяч (!) текстовых файлов разом. Найти нужную инфу сразу в целой куче книг и доков теперь не составит труда.

Обнову выкатили в OpenAI Playground и алгоритм крайне прост:

— Переходите в Assistants и создаёте ассистента
— Вбивайте системный промпт прочти мои PDF
— Ставьте галку в File Search
— Загружайте свои PDF
— Задавайте по ним любые вопросы.

Весь процесс прост и показан в видосе — не запутаетесь.

🧩 #КаталогНейросетей

NVIDIA приобретает Run:ai для оркестрации GPU-ресурсов

NVIDIA покупает компанию Run:ai, разработчика ПО для управления рабочими нагрузками на GPU через Kubernetes.
Run:ai позволяет предприятиям оптимизировать GPU-инфраструктуру локально, в облаке или гибридно.
Платформа интегрируется с фреймворками ИИ и используется для управления кластерами GPU в ЦОД.
NVIDIA продолжит развивать продукты Run:ai и интегрирует их в свои решения, такие как DGX Cloud.

Помнится Сбер переписывал окестратор пайплайна для обучения. Очень похоже.

#NVIDIA #Runai #GPU
-------
@tsingular

MIT: ИИ-модель L-IBM предскажет действия человека

Исследователи из MIT и Университета Вашингтона создали ИИ-модель L-IBM, способную точно предсказывать будущие действия человека или другого ИИ. 🤖
L-IBM анализирует прошлое поведение, действия и ограничения агента (человека или ИИ), формируя «бюджет логического вывода».
Модель превосходит классические подходы, учитывая навыки и сложность задач. Она применялась для прогнозирования ходов в шахматах. ♟️
Цель - научить ИИ-агентов предвидеть ошибки человека и предлагать лучшие действия, адаптируясь к слабостям людей.
Исследование позволит эффективнее обучать ИИ нюансам человеческого поведения.

Мы вот все боялись оказаться в будущем из Терминатора или Матрицы, а, похоже, нужно просто все фильмы брать и объединять.
Теперь в эту копилку добавилось "Особое мнение" (Minority report)

#MIT #LIBMmodel #Minorityreport
-------
@tsingular

Хакеры восстанавливают переписку из зашифрованных чатов с ИИ

Исследователи обнаружили уязвимость в большинстве чат-ботов на базе ИИ, включая ChatGPT и Microsoft Copilot. 🔓
Они могут частично восстановить содержимое зашифрованных чатов, используя особенности работы больших языковых моделей (LLM) с токенами.
LLM отправляют сгенерированные токены по одному в реальном времени, что позволяет извлечь их длины из перехваченных сообщений.
Затем эти длины используются для угадывания слов по контексту с помощью LLM. Полное восстановление сложно, но частичное - возможно.
Большинство чат-ботов уязвимы, но постепенно закрывают уязвимости.
OpenAI, Cloudflare, Google Gemini и GitHub Copilot уже защитились от подобного рода аттак. 🛡

Мораль - не нужно отдавать токены стримом. Никакое шифрование не поможет.

#chatbots #privacy #encryption
-------
@tsingular

Виртуальные фабрики: цифровое будущее производства

Виртуальные фабрики - это цифровые двойники реальных производств. Они позволяют моделировать, симулировать и оптимизировать процессы без физических прототипов.
Ключевые преимущества:
- Планирование размещения оборудования и логистики
- Безопасное обучение роботов и ИИ-систем
- Симуляция человеко-машинного взаимодействия
- Анализ данных в реальном времени
OpenUSD от Pixar и NVIDIA Omniverse - ключевые технологии для создания виртуальных фабрик.
Компании, внедрившие эти решения, сообщают о значительном сокращении времени вывода на рынок, росте эффективности и снижении дефектов.

В копилку кейсов по цифровизации производства

#VirtualFactory #DigitalTwin #Omniverse
-------
@tsingular

Генеративный ИИ стремительно развивается, но энтерпрайз только сейчас, спустя полтора года после выхода ChatGPT дошел до масштабных внедрений. И пока что это чат-боты, а не агенты и полноценные воркфлоу. Я общаюсь с крупными банками, ритейлом, производителями — у всех примерно такой уровень: попробовали, бюджет выделили, ищем решения.

Большие компании невероятно инертны и медлительны, но я уверен, что нет ни одной Furtune 500 компании, которая не запланировала хотя бы $10М на эксперименты с ИИ. И, конечно, они не идиоты, и понимают, что это неизбежно и необходимо для выживания на рынке, как когда-то было с компьютерами и интернетом.

Moderna, крупная фарма компания, утверждает что 100% их лигал команды плотно сидит на GPT, они разработали 400+ внутренних GPTs для автоматизации работы, используют для обработки данных для дозирования лекарств. Понятно, что этот ролик скорее рекламный ролик OpenAI.

Но, главное: для нас кажется что 50-100 обращений к LLM в ходе рабочего дня это норма и так живет весь мир, но на самом деле адопшен в энтерпрайзе только начинается. И не потому что там работают какие-то дураки, а потому что процесс изменения привычки, особенно на уровне корпоративной культуры для 100,000 сотрудников, это штука медленная. Долго запрягают, но когда запрягут — только успевайте электростанции строить.

Snowflake представляет гибридный трансформер Arctic с 480 млрд параметров

Команда исследователей Snowflake AI разработала Arctic - гибридную архитектуру трансформера с плотной модуляцией экспертов (dense-MoE).
Arctic сочетает в себе плотную модель трансформера на 10 млрд параметров с остаточной MoE MLP на 128x3,66 млрд параметров, в сумме составляя 480 млрд параметров и 17 млрд активных параметров, выбранных с использованием гейтинга top-2.
Для использования Arctic необходимо установить последнюю версию DeepSpeed и использовать квантизацию FP8 или FP6. Рекомендуется использовать одну мощную машину с 8 ГПУ H100, например, AWS p5.48xlarge или Azure ND96isr_H100_v5.

480 млрд параметров!

#Snowflake #Arctic #LargeLanguageModels
-------
@tsingular

Саудовская Аравия стремится стать сверхдержавой в области ИИ 🇸🇦🤖

Саудовская Аравия инвестирует миллиарды долларов в развитие технологий искусственного интеллекта (ИИ).
Цель - занять лидирующую позицию в сфере ИИ к 2030 году. 🚀

Создан фонд в $100 млрд для инвестиций в ИИ и доп. $40 млрд в ИИ-компании.

Королевство привлекает ведущих ученых и специалистов по ИИ со всего мира.

Создаются специальные территории и города с фокусом на разработке ИИ решений.
Стартапы привлекают финансированием, бесплатными облачными ресурсами и перспективой госзаказов.

Инвестиции в ИИ - ключевая часть диверсификации экономики и сокращения зависимости от нефти.

#SaudiArabia #ArtificialIntelligence #Vision2030
———
@tsingular

Принёс вам прекрасное. Стартап из Индии Swaayatt Robots делает беспилотник для местных дорог.

Им приходится работать с коровами на дорогах, машинами на встречке, мотороллерами и тук-туками, которые пытаются попасть под колёса, полным отсутствием разметки и знаков (да и дорог тоже).

Это вам не по идеальным улицам Калифорнии тестировать беспилотник.