🚀 Теперь можно запускать модели Hugging Face прямо в Google Colab — бесплатно!

Больше не нужно настраивать окружение вручную. Просто заходишь на страницу модели — и нажимаешь "Open in Colab". Всё готово для запуска за секунды.

✅ Отлично подходит для:
- Быстрого теста модели
- Прототипирования и экспериментов
- Обучения и демонстраций


💡 Бонус для разработчиков:

Добавь файл notebook.ipynb в свой репозиторий модели — и Hugging Face автоматически подхватит его.
Пользователи смогут запускать твой пример сразу, без копирования кода!

🔥 Работает с Google Colab — бесплатно, быстро, удобно.

#HuggingFace #Colab #ML #AI #OpenSource #DeepLearning

✔️ Подробнее

@machinelearning_interview

📌Tokasaurus: проект для ускорения работы с языковыми моделями.

Tokasaurus — это движок инференса для языковых моделей в режиме высоконагруженных задач. Он максимизирует пропускную способность при работе с LLM, предлагает поддержку API OpenAI, эффективно управляет памятью и оптимизирует вычисления в сценариях, где важно одновременно обрабатывать множество запросов без задержек.

Архитектура Tokasaurus разделена на 3 компонента: веб-сервер, менеджер и модельные воркеры.

🟢Веб-сервер отвечает за взаимодействие с клиентами, принимая запросы и отправляя ответы.

🟢Менеджер, запущенный в отдельном процессе, управляет планированием задач, KV-кешем и группировкой последовательностей с общими префиксами.

🟢Модельные воркеры выполняют прямые запросы к подключенным LLM. Компоненты обмениваются данными асинхронно через очереди, и это позволяет держать GPU загруженным без простоев.

Проект учитывает растущую потребность в масштабировании и предлагает 3 типа параллелизма: дата-параллелизм (dp_size), пайплайн (pp_size) и тензорный (tp_size) с поддержкой AsyncTP.

Async Tensor Parallelism в PyTorch — это техника ускорения распределенных вычислений для LLM, где операции связи (all-gather/reduce-scatter) разбиваются на асинхронные части и перекрываются с матричными умножениями (matmul) с помощью чередующихся CUDA-потоков: пока один поток вычисляет фрагмент matmul, другой параллельно передаtт данные для следующего фрагмента через P2P-копирование (NVLink + copy engines), минимизируя простои GPU.

При использовании нескольких GPU, например, dp_size=2 и pp_size=4, система задействует 8 GPU, создавая 2 дублирующиеся группы по 4 GPU каждая. При этом параметры управления памятью (kv_cache_size_num_tokens, max_seqs_per_forward) применяются к каждой дата-параллельной группе отдельно. Это позволяет тонко управлять ресурсами, исходя из контекста конкретных нагрузок.

Tokasaurus поддерживает модели семейств Llama3 и Qwen2, использует технологию Hydragen для ускорения внимания над общими префиксами последовательностей.

⚠️ Проект пока молодой, поэтому некоторые функции могут быть нестабильными. Разработчики активно работают над улучшениями.


📌 Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM # #Tokasaurus #Github

✔️ В Пекине запустят первый в мире 4S-центр для роботов с воплощенным ИИ.

По аналогии с автосалонами, робототехнический 4S будет предлагать полный цикл: продажи (Sales), сервис (Service), запчасти (Spare parts) и консультации/анализ (Surveys). Планируется зона с демонстрацией роботов в реалистичных сценариях – можно будет всё пощупать руками и увидеть их возможности в деле. Плюс создадут быструю сеть поставки комплектующих по стране и соберут профильную команду для сборки, ремонта и обслуживания машин.

Первыми партнерами станут несколько лидеров сферы: UBTECH и Galaxea. Откроется центр в августе на базе промпарка в районе Ичжуан на юге столицы.
english.news.cn

✔️ Браузер Dia выходит в бета-версию.

The Browser Company открыл доступ к бета-версии браузера Dia (по инвайтам). Dia позиционируется как решение, где ИИ глубоко интегрирован в самую суть взаимодействия, он встроен прямо в рабочий процесс пользователя, избавляя от необходимости постоянно ходить на сайты ChatGPT или Claude.

Dia построен на Chromium, так что интерфейс многим знаком. Главная фича — умная адресная строка: она работает и как поиск, и как чат-бот с ИИ. Помощник умеет искать в сети, суммировать загруженные файлы, автоматически переключаться между режимами. Можно даже спросить его о содержимом всех открытых вкладок или попросить составить черновик на их основе.

Настройки производятся через диалог с ботом: можно задать тон, стиль письма, параметры для кода. Опция History (по желанию) позволяет браузеру использовать недельную историю просмотров как контекст для ответов. А функция Skills помогает создавать мини-скрипты — ярлыки для сложных настроек или действий.
techcrunch.com

✔️ Mistral запускает вычислительную альтернативу облачным гигантам.

Mistral AI анонсировала Mistral Compute - инфраструктурную платформу для разработки и запуска ИИ. Это полноценный приватный стек: от GPU и систем оркестрации до API и сервисов. На выбор любой формат, от bare-metal до полностью управляемой PaaS.

Mistral Compute нацелен дать государствам, компаниям и научным центрам, ищущих альтернативу решениям из США или Китая, возможность самим строить ИИ-среду под свои нужды и полностью ею владеть.

Платформа использует новейшие архитектуры NVIDIA, с доступом к десяткам тысяч GPU. Она создана командой с огромным опытом в HPC и обучении топовых ИИ-моделей. Ключевые акценты: устойчивость и суверенитет данных, инфраструктура соответствует строгим европейским нормам и работает на декарбонизированной энергии.
mistral.ai

✔️ ByteDance анонсировала text-to-video модель Seedance 1.0.

Seedance 1.0 - новая генеративная модель для создания видео, которая, по утверждениям ByteDance, превосходит конкурентов в точности выполнения запросов, качестве движений и резкости изображения. В тестах на Artificial Analysis она лидирует в задачах text-to-video и image-to-video, обходя Google Veo 3, Kuaishou Kling 2.0 и OpenAI Sora. Модель справляется с длинными сценами, сохраняя стабильность персонажей и переходов между ракурсами, но пока не поддерживает добавление звука.

Seedance 1.0 генерирует 5-секундный Full HD-ролик за 41 секунду — это быстрее аналогов, хотя новый Google Veo 3 Fast может нивелировать это преимущество. Инструмент планируют внедрить в платформы Doubao и Jimeng. Целевая аудитория — от профессиональных видеомейкеров до обычных пользователей.
seed.bytedance.com

✔️ Midjourney открыла публичное тестирование своей видеомодели.

Midjourney объявила о начале открытого тестирования модели генерации видео по текстовым запросам. Задача тестирования собрать обратную связь для улучшения алгоритма.

Создатели пригласили сообщество принять участие в онлайн-рейтинге сгенерированных роликов, присоединиться можно по ссылке. Пока некоторые образцы выглядят достойно и сохраняют фирменный стиль Midjourney, но в целом результаты пока нестабильны.

Компания подчеркивает: это не финальная версия модели, а лишь первый шаг. Дополнительные сессии тестирования уже запланированы, но дату релиза и цену пока не раскрывают.
midjourney.com

@ai_machinelearning_big_data

#news #ai #ml