✔️ Планы Microsoft в области ИИ: доклад Сатьи Наделлы на саммите по ИИ в Лондоне.

Стратегия Microsoft в области ИИ включает Copilot, пользовательский интерфейс, который поддерживает новые рабочие процессы и совместную работу, и Copilot Studio, который позволяет создавать ИИ-агентов с помощью инструментов low-code/no-code.

Конфиденциальность данных и безопасность ИИ занимают центральное место в видении Microsoft, направленном на создание надежного ИИ, при этом компания разрабатывает возможности для обеспечения доверия к ИИ и развития безопасной экосистемы.
geeky-gadgets.com

✔️ Gemini: голосовой помощник от Google сможет звонить и отправлять сообщения с заблокированного телефона.

Новая функция расширит возможности Gemini Live, который уже сейчас может отвечать на вопросы с заблокированного телефона.

Для активации функции пользователю нужно будет включить соответствующую настройку в меню Gemini на Android.

Просмотр ответов с личной информацией будет доступен только после разблокировки устройства..
techradar.com

✔️ Китайский стартап в области ИИ утверждает, что превзошел GPT-4o.

01AI, основанный специалистом по информатике Кай-Фу Ли, запустил новую модель Yi-Lightning, которая, как утверждается, превосходит GPT-4o-2024-05-13 от OpenAI и Claude 3.5 Sonnet от Anthropic в рейтинге LMSYS.

Несмотря на успех Yi-Lightning, 01AI переориентируется на корпоративные решения для китайских компаний из-за трудностей с монетизацией потребительских продуктов. 01AI по-прежнему будет поддерживать свои глобальные приложения - PopAI, Monoland и приложение для поиска на основе ИИ BeaGo.

Китайские технологические компании получают поддержку от правительства в продолжающейся битве за лидерство в области ИИ с США. Китайское правительство сделало ИИ национальным приоритетом, стремясь стать мировым лидером в этой области к 2030 году.
analyticsindiamag.com

✔️ Asana анонсирует AI Studio: no-code конструктор для разработки и развертывания ИИ-агентов рабочих процессов.

В отличие от других инструментов ИИ, которые просто синтезируют информацию и генерируют контент, ИИ-агенты Asana работают как участник команды. Они берут на себя рутинную работу, координируют проекты и организуют работу по критическим рабочим процессам - от приема до планирования, выполнения и отчетности.

Рабочие процессs на основе ИИ основаны на Asana Work Graph, который фиксирует критический контекст и исторические связи между всей работой внутри организации - кто, какую работу выполняет, к какому сроку, как и почему.

Ранний доступ был запущен 22 октября для уровней Enterprise и Enterprise+, а вскоре появятся годовые подписки для Advanced.
aithority.com

✔️ Keras Hub: универсальная библиотека для предобученных моделей.

Keras Hub – это новая унифицированная библиотека для предобученных моделей, которая объединяет архитектуры NLP и CV, предоставляя разработчикам доступ к набору моделей в рамках единой платформы Keras.

Keras Hub упрощает поиск, использование и публикацию моделей, а также поддерживает функции LoRA, квантования и многоузловое обучение для работы с большими наборами данных.

Для начала работы с Keras Hub достаточно установить библиотеку с помощью команды pip install --upgrade keras-hub. Keras Hub предоставляет доступ к моделям: Gemma, PaliGemma и Stable Diffusion 3.

Также доступны новые функции для разработчиков KerasCV: встроенная предварительная обработка и функции потерь, доступные через keras.losses.<loss_function>.
developers.googleblog.com


@ai_machinelearning_big_data

#news #ai #ml

📌 Гайд по распределенному обучению.

Репозиторий Github облачного хостинг-провайдера Lambda Labs c исчерпывающим руководством по лучшим практикам распределенного обучения, диагностике часто возникающих ошибок, эффективном использовании доступных ресурсов и приемам логгирования в stdout/stderr и wandb.

Вопросы, на которые отвечает это руководство:

🟢Как обновить скрипт обучения/файнтюна на одном GPU для работы на нескольких GPU или нескольких нодах?

🟢Как диагностировать зависания/ошибки, возникающие во время обучения?

🟢Моя модель слишком велика для одного GPU - как мне обучить/настроить ее на кластере?

🟢Как запланировать и запустить обучение на кластере?

🟢Как масштабировать гиперпараметры при увеличении числа воркеров?

Руководство состоит из последовательных глав, каждая из которых содержит readme и скрипт train_llm.py.

В readme содержатся описания глав, а каждый из обучающих скриптов нацелен на обучение каузальной языковой модели.

▶️ Структура:

🟠Один GPU;
🟠Несколько GPU на одной ноде;
🟠Несколько GPU на нескольких нодах;
🟠Запуск заданий;
🟠Шардинг между GPU (deepspeed);
🟠Шардинг между GPU (FSDP);
🟠Обучение 405B модели;
🟠Диагностика ошибок;
🟠Дополнительные темы (детерминизм, эффективность batch-size и LR, Gradient accumulation и др.).

▶️Локальное использование репозитория:

# Clone repo
git clone https://github.com/LambdaLabsML/distributed-training-guide.git

# Create venv
cd distributed-training-guide
python3 -m venv venv
source venv/bin/activate
python -m pip install -U pip
pip install -U setuptools wheel
pip install -r requirements.txt

📌Лицензирование : MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Github #Guide

🔥 Видео от университета Стэнфорда о создании больших языковых моделей!

💡 Это видео — краткий обзор создания модели, подобной ChatGPT, охватывающий как предварительное обучение модели, так и последующее обучение (SFT/RLHF).

В видео рассматриваются общие практики сбора данных, алгоритмы и методы оценки модели.

🕞 Продолжительность: 1:44:30

🔗 Ссылка: *клик*

@data_analysis_ml

✔️ Дания запускает суперкомпьютер с суверенным ИИ для решения научных задач.

Дания представила свой суперкомпьютер Gefion, созданный в партнерстве с NVIDIA и оснащенный 1528 GPU NVIDIA H100 Tensor Core.

Gefion управляется Датским центром инноваций в области искусственного интеллекта (DCAI) и будет использоваться для исследований в области квантовых вычислений, чистой энергии, биотехнологий и других областях, важных для датского общества и всего мира.

Gefion, первый в Дании суперкомпьютер с ИИ, основан на NVIDIA DGX SuperPOD и использует сетевые технологии NVIDIA Quantum-2 InfiniBand.
blogs.nvidia.com

✔️ Canva запускает свой генератор изображений Dream Lab.

Dream Lab, часть пакета инструментов Canva Magic Studio, использует базовую модель Phoenix от Leonardo.Ai.

Новый инструмент позволяет создавать изображения в более чем 15 стилях на основе текстовых запросов. Пользователи могут генерировать изображения с несколькими объектами, фотореалистичные портреты, а также использовать существующие изображения в качестве образцов стиля.

Dream Lab дополняет существующий генератор изображений Canva, основанный на Stable Diffusion.
gadgets360.com

✔️ Cohere представляет Embed 3, MMLM для поиска, объединяющую текст и изображения.

Cohere анонсировала Embed 3, новую MMLM, которая объединяет эмбединги текста и изображений в единое латентное пространство, что позволит предприятиям извлекать информацию из огромных массивов данных разной модальности.

Embed 3 поддерживает более 100 языков. Модель доступна на платформе Cohere, Amazon SageMaker, а также через отдел продаж Cohere для частного развертывания в любой облачной среде или локально.
cohere.com

✔️ Google DeepMind разработала систему водяных знаков SynthID для идентификации текста, созданного ИИ.

Google DeepMind представила SynthID-Text, систему водяных знаков для маркировки текста, сгенерированного ИИ, которая позволяет определить его происхождение без ущерба для качества и скорости генерации текста.

Система работает путем незаметного для человека изменения некоторых слов в выводе чат-бота, создавая "статистическую подпись", которую может обнаружить детектор SynthID. SynthID-Text уже интегрирована в чат-бот Google Gemini и доступна разработчикам и компаниям в открытом доступе.

Система не является панацеей: значительное редактирование текста или его перефразирование другим чат-ботом может скрыть водяной знак.
deepmind.google

✔️ Arm отзывает лицензию у Qualcomm.

Arm Holdings plc, разрабатывающая архитектуру процессоров Arm, отзывает лицензию у Qualcomm. Qualcomm получила 60-дневное уведомление об отзыве, что дает компаниям два месяца на достижение соглашения. В противном случае Qualcomm будет вынуждена прекратить производство и продажу своих чипов Arm.

Qualcomm считает действия Arm необоснованными и антиконкурентными, утверждая, что обладает широкими правами на использование архитектуры. Судебное заседание состоится в декабре.
bloomberg.com

@ai_machinelearning_big_data

#news #ai #ml