GPTshop.ai - конфигуратор настольного суперкомпьютера GH200

На сайте GPTshop.ai доступен конфигуратор для сборки настольного суперкомпьютера GH200.
Пользователи могут выбирать компоненты, такие как процессор, оперативную память, накопители и графические процессоры.
Цены указаны в долларах США.
Конфигуратор позволяет подобрать оптимальную конфигурацию под свои задачи и бюджет.

Если нужно запустить Llama3 405B локально.

#GPTshop #GH200 #supercomputer #ПК #компьютер

В общем, чтобы попробовать Llama 3 локально без регистрации, смс и VPN достаточно лишь...

обновить LM Studio или скачать, если вы ещё не.
https://lmstudio.ai/

дальше в поиске моделей забиваете
lmstudio llama 3
и качаете на что хватит видеокарты.

результаты вполне приличные для локальной модели.

#LMStuidio #Llama3
———
@tsingular

CEO Anthropic: ИИ скоро сможет «выживать в дикой природе»

По мнению CEO Anthropic Дарио Амодеи, к 2025-2028 годам модели ИИ могут достичь уровня развития, позволяющего им самостоятельно реплицироваться и выживать 🤖🌿.
Амодеи проводит аналогию с уровнями биобезопасности в вирусологических лабораториях. Сейчас мир на уровне ИИ 2, а уровень 4 с «автономией» и «убеждением» может быть достигнут в ближайшем будущем.
На уровне 4 существует риск, что государства смогут значительно усилить свои военные возможности с помощью ИИ, получив геополитическое преимущество 🌍⚔️.
Амодеи считает, что ИИ сможет «реплицироваться и выживать в дикой природе» в ближайшем будущем, а не через 50 лет.
Миссия Anthropic - обеспечить, чтобы трансформирующий ИИ помогал людям и обществу процветать 🌟.

Скоро у ИИ появится инстинкт самосохранения.

#Anthropic #AIautonomy #AIsurvival
-------
@tsingular

Microsoft нацелена на 1,8 млн GPU к концу 2024 года

Согласно внутреннему документу, Microsoft планирует накопить 1,8 миллиона чипов ИИ (GPU) к концу 2024 года для ускорения развития генеративного ИИ. 🚀
Компания стремится сделать ИИ более быстрым, качественным и доступным, но сильно зависит от закупок GPU, в основном от Nvidia.
Ожидается, что с текущего финансового года до 2027 года Microsoft потратит около $100 млрд на GPU и дата-центры. 💰
Другие технологические гиганты также наращивают запасы GPU, что привело к росту капитализации Nvidia до $2 трлн.
Microsoft разрабатывает собственные чипы ИИ, чтобы снизить зависимость от Nvidia, но пока отстает на несколько лет.

Гонка вооружений в области ИИ набирает обороты.
Победит тот, у кого больше GPU и электричества.

#Microsoft #Nvidia #GPU
-------
@tsingular

SAP внедряет ИИ-инновации в управление цепочками поставок

На Ганноверской ярмарке SAP анонсировала ИИ-инновации для решений по управлению цепочками поставок. 🚚
Интеллектуальная аналитика на основе данных в реальном времени поможет компаниям принимать обоснованные решения, оптимизировать разработку продуктов и повысить эффективность производства. 📈
Решения SAP уже принесли клиентам пользу:
- Повышение производительности цепочки поставок на 15%
- Снижение затрат на планирование на 10%
- Сокращение складских затрат и оборачиваемости запасов на 10%
Большинство руководителей по цепочкам поставок (63%) и операциям (52%) имеют стратегию ИИ, связанную с бизнес-целями. 🎯
51% внедряют ИИ для принятия решений в реальном времени, а 58% - для повышения операционной эффективности. 💡

Скоро SAP ERP будет сам себя внедрять, а консультанты пойдут на завод. 😅

#SAP #SupplyChain #Hannover
-------
@tsingular

Microsoft представила новое семейство языковых моделей Phi-3

Microsoft анонсировала релиз Phi-3 - нового семейства компактных, но мощных языковых моделей, превосходящих аналоги благодаря уникальному подходу к обработке данных и процедурам безопасности.
Phi-3-mini с 3.8 млрд параметров демонстрирует впечатляющие результаты на тестах MMLU (68.8%), GSM-8K (82.5%) и других, соперничая с гораздо более крупными GPT-3.5 и Mixtral 8x7B.
Модель тренировалась на тщательно отфильтрованных веб-данных и синтетических данных, сгенерированных другими большими языковыми моделями.
Более крупные варианты Phi-3-small (7B) и Phi-3-medium (14B) показывают еще более высокую производительность.

Релиз Phi-3 следом за Llama 3 - очень вовремя.
Интересно будет сравнить, но пока на HF нет, есть только папир:
https://arxiv.org/pdf/2404.14219.pdf

#Microsoft #Phi-3 #LanguageModel
-------
@tsingular

🦾 Dataset of 15 trillion tokens

Только что был опубликован датасет из 15 триллионов токенов (столько же, сколько было использовано для обучения Llama 3)!!!

Скачайте его, пока он не был удален из-за авторских прав.

https://huggingface.co/datasets/HuggingFaceFW/fineweb

@data_analysis_ml

Amazon Bedrock упрощает создание генеративных ИИ-приложений

Amazon представила новые возможности платформы Bedrock для разработки и масштабирования генеративных ИИ-приложений.
Расширен выбор моделей, включая решения от AI21 Labs, Anthropic, Cohere, Mistral AI, Stability AI и собственные модели Amazon Titan.
Добавлена поддержка моделей Llama 3 8B и 70B, Cohere Command R и Command R+.
В общем доступе генератор изображений Amazon Titan Image Generator.
Анонсирован Amazon Titan Text Embeddings V2.
Инструмент Model Evaluation упростит оценку и сравнение моделей LLM и FM.
Agents for Amazon Bedrock для создания конкретных задач и рабочих процессов.
Custom Model Import позволяет использовать собственные модели.
Guardrails for Amazon Bedrock предотвратит утечки данных и распространение вредного контента.

AWS, пожалуй, одна из самых мощных экосистем для ИИ.

#AmazonBedrock #GenerativeAI #LLM
-------
@tsingular

Adobe упрощает использование ИИ-инструментов в Photoshop с новой моделью Firefly

Новый инструмент Reference Image позволяет пользователям загружать собственные изображения как ориентир для генерации контента с помощью ИИ, упрощая процесс формулирования сложных текстовых запросов.
Adobe утверждает, что Reference Image безопасен для коммерческого использования, в отличие от конкурирующих моделей.
Другие новые ИИ-инструменты:
Generate Background для замены и создания фонов,
Enhance Detail для повышения четкости и
Generate Similar для генерации похожих изображений.
Новая модель Firefly Image 3 обладает более высоким качеством генерации, лучше понимает подробные запросы и может генерировать более четкий текст на изображениях.
Также добавлены новые стандартные инструменты:
Adjustment Brush для корректирующих изменений и улучшенный Font Browser.

#Photoshop #Firefly #ReferenceImage
-------
@tsingular

Coca-Cola и Microsoft ускоряют внедрение ИИ и облаков

Компании Coca-Cola и Microsoft объявили о 5-летнем стратегическом партнерстве для ускорения внедрения облачных технологий и инициатив в области генеративного ИИ.
Coca-Cola инвестирует $1.1 млрд в облако Microsoft и его возможности генеративного ИИ. Microsoft Cloud станет предпочтительной и стратегической облачной и ИИ-платформой для Coca-Cola на глобальном уровне.
Компании будут совместно экспериментировать с новыми технологиями, такими как Azure OpenAI Service, для разработки инновационных кейсов использования генеративного ИИ в различных бизнес-функциях, а также тестировать Copilot для Microsoft 365 для повышения производительности труда.
Coca-Cola уже около года внедряет генеративный ИИ и использовала Azure OpenAI Service для переосмысления процессов, от маркетинга до производства и цепочки поставок.

ИИ-Кола на фоне синего экрана :)

#CocaCola #Azure #Microsoft
-------
@tsingular

Microsoft выложила Phi-3-mini-128k-instruct на Hugging Face

Microsoft открыла исходный код модели Phi-3-mini-128k-instruct на платформе Hugging Face.
Эта легковесная, но продвинутая языковая модель имеет 3.8 млрд параметров.
Phi-3-mini получила обучение на синтетических данных и отфильтрованных публичных веб-сайтах.
Затем модель прошла тонкую настройку для улучшения понимания инструкций и безопасности.
На бенчмарках Phi-3 Mini показала передовые результаты среди моделей до 13 млрд параметров.
Модель нацелена на коммерческое и исследовательское применение на английском языке.
Microsoft предоставила примеры кода и оптимизированные ONNX-версии под лицензией MIT.

Погнали проверять :)
https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3


#Microsoft #Phi-3 #HuggingFace
-------
@tsingular

NVIDIA ускоряет открытую модель Microsoft Phi-3 Mini

NVIDIA объявила об ускорении новой открытой языковой модели Microsoft Phi-3 Mini с помощью библиотеки NVIDIA TensorRT-LLM.
Phi-3 Mini имеет 3,8 миллиарда параметров и была обучена всего за 7 дней на 512 GPU NVIDIA H100 Tensor Core.
Модель доступна в двух вариантах: с поддержкой 4К и 128К токенов, что является первой моделью такого класса для очень длинных контекстов.
Разработчики могут опробовать Phi-3 Mini с окном 128K на ai.nvidia.com, где она упакована как NVIDIA NIM.
TensorRT-LLM поддерживает длинный контекст Phi-3 Mini и использует оптимизации, улучшающие производительность и задержку вывода.
Это расширяет сотрудничество NVIDIA и Microsoft в области ИИ и открытого исходного кода.

Натренировали за 7 дней...
Такое ощущение, что все заняты AGI гонкой и на сдачу чисто выпускают актуальные модельки что бы не забывали в медиа поле...

#NVIDIA #Microsoft #Phi3Mini
-------
@tsingular

Периодически делаю акцент, что скорость входа в платформу должна измеряться минутами, желательно секундами в плане простоты подключения и первого запуска.

мой новый фаворит наравне с HF - Nvidia.

вот тут:
https://build.nvidia.com/explore/discover

без VPN и прочих шаманств.
за 30 секунд.
получили API ключ, скопировали код - вуаля - модель из облака работает.

#Nvidia #API
———
@tsingular

Эпоха скама конечно великая. Известный в широких кругах rabbit r1 (это оранжевая штука, которую дизайнили Teenage Engineering), который был с очень здравыми идеями про Large Action Model и т.д., оказался на деле всего лишь несколькими скриптами для автоматизации четырех приложений: Spotify, Midjourney, Doordash и UberEats. Может конечно всё ещё изменится в будущем, но пока вот так.

Теперь хейтеры занимаются сливом их сорцов. Началось все в треде на HackerNews. В интересное время живём.

🧬 #OpenAI разом убила все PDF-саммарайзеры — GPT научилась жевать по 10 тысяч (!) текстовых файлов разом. Найти нужную инфу сразу в целой куче книг и доков теперь не составит труда.

Обнову выкатили в OpenAI Playground и алгоритм крайне прост:

— Переходите в Assistants и создаёте ассистента
— Вбивайте системный промпт прочти мои PDF
— Ставьте галку в File Search
— Загружайте свои PDF
— Задавайте по ним любые вопросы.

Весь процесс прост и показан в видосе — не запутаетесь.

🧩 #КаталогНейросетей

NVIDIA приобретает Run:ai для оркестрации GPU-ресурсов

NVIDIA покупает компанию Run:ai, разработчика ПО для управления рабочими нагрузками на GPU через Kubernetes.
Run:ai позволяет предприятиям оптимизировать GPU-инфраструктуру локально, в облаке или гибридно.
Платформа интегрируется с фреймворками ИИ и используется для управления кластерами GPU в ЦОД.
NVIDIA продолжит развивать продукты Run:ai и интегрирует их в свои решения, такие как DGX Cloud.

Помнится Сбер переписывал окестратор пайплайна для обучения. Очень похоже.

#NVIDIA #Runai #GPU
-------
@tsingular

MIT: ИИ-модель L-IBM предскажет действия человека

Исследователи из MIT и Университета Вашингтона создали ИИ-модель L-IBM, способную точно предсказывать будущие действия человека или другого ИИ. 🤖
L-IBM анализирует прошлое поведение, действия и ограничения агента (человека или ИИ), формируя «бюджет логического вывода».
Модель превосходит классические подходы, учитывая навыки и сложность задач. Она применялась для прогнозирования ходов в шахматах. ♟️
Цель - научить ИИ-агентов предвидеть ошибки человека и предлагать лучшие действия, адаптируясь к слабостям людей.
Исследование позволит эффективнее обучать ИИ нюансам человеческого поведения.

Мы вот все боялись оказаться в будущем из Терминатора или Матрицы, а, похоже, нужно просто все фильмы брать и объединять.
Теперь в эту копилку добавилось "Особое мнение" (Minority report)

#MIT #LIBMmodel #Minorityreport
-------
@tsingular

Хакеры восстанавливают переписку из зашифрованных чатов с ИИ

Исследователи обнаружили уязвимость в большинстве чат-ботов на базе ИИ, включая ChatGPT и Microsoft Copilot. 🔓
Они могут частично восстановить содержимое зашифрованных чатов, используя особенности работы больших языковых моделей (LLM) с токенами.
LLM отправляют сгенерированные токены по одному в реальном времени, что позволяет извлечь их длины из перехваченных сообщений.
Затем эти длины используются для угадывания слов по контексту с помощью LLM. Полное восстановление сложно, но частичное - возможно.
Большинство чат-ботов уязвимы, но постепенно закрывают уязвимости.
OpenAI, Cloudflare, Google Gemini и GitHub Copilot уже защитились от подобного рода аттак. 🛡

Мораль - не нужно отдавать токены стримом. Никакое шифрование не поможет.

#chatbots #privacy #encryption
-------
@tsingular