HuggingFace объединяет ведущих провайдеров облачного инференса

Облачный инференс от разных провайдеров теперь можно запускать через единый интерфейс Hub.
Доступны сервисы AWS, Nvidia, SambaNova и Replicate с гибкой тарификацией.
Подключение реализовано через REST API, поддерживающий OpenAI-совместимые клиенты.
Функционал включает генерацию изображений и работу с языковыми моделями.
Зарегистрированным пользователям доступна базовая бесплатная квота.
Оплата производится напрямую провайдерам без дополнительных комиссий.

Теперь не нужно держать аккаунты у всех провайдеров - достаточно одного в HuggingFace 😎

#HuggingFace #gate #inference
-------
@tsingular

Для всех, кто страдает от того, что DeepSeek API штормит, запилил короткое видео как создать ключ под Inference Providers в Hugging Face и начать использовать DS.

Делов на пару минут и тысячи моделей HF будут вам доступны по API.

(для самых внимательных: ключ из видео уже удалён :) )

p.s. Видео из серии как вскипятить воду, но точно знаю некоторых, кому это будет полезно, поэтому вот :)

#HuggingFace #Inference #demo
———
@tsingular

HuggingFace представил агента-исследователя Open Deep Research

HuggingFace выпустил open-source версию DeepResearch на основе библиотеки SmolAgents.

Ключевая особенность - использование кода вместо JSON для управления действиями агента.

Система включает веб-браузер и текстовый инспектор для работы с различными форматами файлов.

На валидационном наборе GAIA достигнут результат 54%, что на 8% выше предыдущего рекорда Magentic-One.

Теперь любой может создать своего научного ассистента. OpeanAI в панике! :)

Т.е. за $250 вы получаете недоделанный забагованный Researcher от OAI или можно взять бесплатный открытый от HF с метриками немногим ниже...
Сложный выбор.

Ну что, делаем бота рассуждатора? :)
Пишите в комментариях.
Кстати, на запчасти боту собираю тут

#HuggingFace #DeepResearch #SmolAgents
-------
@tsingular

HuggingFace собрали все ИИ модели и инструменты в общем пространстве и добавили ИИ поиск.

У нас было 2 миллиона моделей машинного обучения, 75 тысяч пространств развертывания, и целая гора мультимодальных датасетов всех возможных форматов.

Не то чтобы всё это действительно было нужно для одного проекта... но если уж начал собирать ИИ-стек, остановиться трудно.

Единственное, что действительно беспокоило – это поисковый движок.

На всей планете не было никого, кто бы мог искать модели умнее и быстрее, чем новый ИИ от HuggingFace.
И я знал, что рано или поздно мы перейдем на эту дрянь.

К полудню мы были где-то на краю пустыни талантов, когда API начало действовать.

Я помню, как сказал что-то вроде: "Я чувствую головокружение, может, ты поведешь..."

А потом внезапно вокруг стало очень тихо, и я увидел... боже мой, ты только посмотри на эти решения!

Разумеется, это была не вся коллекция. Я взял довольно стандартный набор: трансформеры, диффузионные модели, embeddings, языковые модели – всё, что может понадобиться для среднестатистического проекта машинного обучения.

С такими инструментами всё, что тебе нужно – это ввести запрос на английском, и искусственный интеллект мгновенно выдаст тебе готовое решение.

"Не останавливайся. Это ИИ-территория..."

#HuggingFace #каталог
———
@tsingular

🎓 Hugging Face сегодня запустил бесплатный курс по AI-агентам!

Обещанный ранее курс стартовал (на английском).

📚 Что интересного:
- Полностью бесплатный
- Ведут инженеры Hugging Face с боевым опытом в разработке агентов
- Будем работать с популярными фреймворками: smolagents, LangChain, LlamaIndex
- Все агенты будут храниться на Hugging Face Hub (можно будет подсмотреть чужие решения 😉)

🎯 Самое вкусное:
- Есть два трека: базовый (для понимания концепций) и полный с сертификатом
- В конце курса - соревнование агентов между собой (с лидербордом!)
- Дедлайн по сертификации - до 1 мая 2025

⏰ Темп занятий комфортный: примерно 3-4 часа в неделю.

🔥 А уже в эту среду (12 февраля, 19:00 МСК) будет первый live-стрим, где расскажут все детали. (на Youtube)

Кстати, для участия нужен только комп с интернетом и базовые знания Python. Ну и аккаунт на Hugging Face, конечно.

#агенты #huggingface
———
@tsingular

Интересная фундаментальная мысль из курса HF про агентов.

Использование агента с функцией написания кода позволяет снизить количество действий.

#agents #dev #huggingface
———
@tsingular

BigQuery ML теперь работает с open-source LLM!

Google Cloud порадовал крутейшим анонсом - теперь BigQuery ML может использовать любые open-source языковые модели из Vertex AI Model Garden, включая всю библиотеку Hugging Face (170K+ моделей)!

Что это значит на практике:
- Можно использовать свои fine-tuned модели
- Доступны все 170K+ моделей с Hugging Face
- Работает через привычный SQL-синтаксис
- Интеграция с Vertex AI для деплоя моделей

В посте они показали пример с Llama 3.3 70B:
Модель анализирует медицинские транскрипты и извлекает структурированные данные (возраст, пол, заболевания) прямо через SQL-запросы.

Процесс запуска:
1. Деплоим модель в Vertex AI
2. Создаем remote model в BigQuery
3. Делаем инференс через ML.GENERATE_TEXT

Теперь работа с большими объемами данных резко упростилась.
Особенно круто для компаний, у которых уже есть данные в BigQuery - можно добавить ИИ без сложной интеграции.

Кто не в курсе, BigQuery это такая безразмерная база данных, куда поместится вообще все что можно себе представить и при этом ещё место останется. Логи, сделки, CRM, что хотите.
И при этом цена не будет конской. Что редко вообще встречается :)

P.S. И да, дают $300 кредитов новым пользователям для тестирования.

#BigQuery #Google #HuggingFace
———
@tsingular

HuggingFace обновили свой курс по ИИ, добавив раздел файтюна.

Обновление тут

Но есть нюанс. Обновлён только англоязычный раздел пока.
Так что или быстро учим английский, либо ждём пару дней, - переведут на остальные языки. Там их более 20ти в общей сложности в базовом курсе.

#huggingface #finetuning #обучение
———
@tsingular

🚀 Трансформеры + vLLM: вместе вкуснее

vLLM выкатили обновление, которое теперь поддерживает Transformers от Hugging Face.

Суть в том, что теперь можно взять любую новую модель из Transformers и сразу запустить на ней оптимизированный инференс через vLLM не ожидая пока её кто-то сконвертирует в совместимый формат.

Достаточно просто указать:

from transformers import pipeline

pipe = pipeline("text-generation", model="meta-llama/Llama-3.2-1B")
result = pipe("The future of AI is")

print(result[0]["generated_text"])

И вуаля – получаем все плюшки vLLM с его PagedAttention и динамическим батчингом.

Бизнес-кейсы:

1. Снижение серверных затрат: vLLM эффективнее использует GPU-память.

2. OpenAI-совместимый API:

запускаем

vllm serve meta-llama/Llama-3.2-1B

вызываем по url

curl https://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "meta-llama/Llama-3.2-1B", "prompt": "San Francisco is a", "max_tokens": 7, "temperature": 0}'

или в коде

from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="https://localhost:8000/v1")
completion = client.completions.create(
    model="meta-llama/Llama-3.2-1B",
    prompt="San Francisco is a",
    max_tokens=7,
    temperature=0
)
print("Completion result:", completion.choices[0].text)

3. Быстрое внедрение новых моделей: как только модель появляется в Transformers, её можно сразу оптимизированно применять в проде.

Пример с моделью Helium от Kyutai особенно показателен: несмотря на то, что эта модель ещё не поддерживается нативно в vLLM, её уже можно запустить через трансформерный бэкенд и получить значительный прирост в скорости.

#Transformers #vLLM #инференс #HuggingFace
———
@tsingular

Tiny Agents: Революция в разработке ИИ-агентов всего в 50 строках кода

На HuggingFace вышел прикольный материал по разработке агентов на базе MCP.

Ключевой принцип: агент представляет собой лишь цикл while поверх MCP-клиентов.

Реализация включает подключение к MCP-серверам, транзит доступного инструментария в LLM и исполнение его вызовов.

В примере используется Qwen2.5-72B-Instruct.

Теперь даже школьник сможет собрать своего агента на MCP серверах!

#MCP #TinyAgents #HuggingFace
-------
@tsingular

Тут HuggingFace прокачали ZeroGPU

Теперь за $9 в месяц вы можете использовать Nvidia H200 с 70 гигами VRAM в рамках подписки, без дополнительных расходов.

Это вообще невероятная щедрость какая-то.
(работает только с Gradio средой)

На ZeroGPU уже собраны тысячи пространств.
Вот примеры:
https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev

https://huggingface.co/spaces/tencent/Hunyuan3D-2

https://huggingface.co/spaces/theseanlavery/TRELLIS-3D

https://huggingface.co/spaces/radames/Real-Time-Text-to-Image-SDXL-Lightning

#HuggingFace #ZeroGPU #Spaces
———
@tsingular

Hugging Face запутил бесплатный курс по MCP

Структура курса:
4 основных блока: от фундаментальных концепций до развертывания готовых приложений

Практические задания: применение SDK и фреймворков с предварительно настроенным окружением

Проектная работа: создание и развертывание полнофункциональных MCP-приложений

Бонусные модули: интеграция с партнерскими сервисами и библиотеками

Практическое применение:
Разработчикам: создание AI-агентов с доступом к актуальным данным
Продуктовым командам: расширение возможностей существующих LLM-приложений
Исследователям: изучение архитектуры протоколов взаимодействия AI с внешними сервисами

Доступность и требования:
Необходимый уровень: базовое понимание AI/LLM и опыт в любом языке программирования

Сертификация: два уровня - базовый (теория) и продвинутый (с созданием приложения)

Темп: 3-4 часа в неделю, полный курс рассчитан на ~4 недели

Курс ведет Бен Буртеншоу, ML-инженер из HuggingFace, специализирующийся на пост-тренинговых подходах и агентных системах.

Обязательно к прохождению!

#HuggingFace #MCP #обучение
———
@tsingular

Hugging Face запустила MCP Server для подключения ИИ к своей экосистеме

Hugging Face представила первую версию MCP сервера - теперь можно подключить языковые модели напрямую к их API через VSCode, Cursor, Claude Desktop и другие MCP-совместимые приложения.

Сервер предоставляет встроенные инструменты: поиск по статьям и Spaces, исследование моделей и датасетов. Но главная фишка - динамический список всех MCP-совместимых Gradio приложений, размещённых на Spaces.

Проект полностью open source. Это не просто сервер - это попытка стандартизировать экосистему AI-инструментов с Gradio как основным UI-слоем.

HuggingFaceMCP

#HuggingFace #MCP #OpenSource
------
@tsingular

Hugging Face добавила Groq для молниеносного запуска AI моделей

Hugging Face интегрировала Groq в свою платформу для сверхбыстрого inference AI моделей.

Вместо обычных GPU, Groq использует специальные чипы Language Processing Unit (LPU), созданные именно для трансформеров.
Результат - мгновенный отклик и высокая производительность.

Теперь разработчики получили доступ к популярным open-source моделям вроде Llama 4 и QwQ-32B через инфраструктуру Groq прямо в Hugging Face.

Интеграция работает с Python и JavaScript библиотеками, поддерживает личные API ключи или консолидированную оплату через Hugging Face.

Интересно что по стоимости выйдет в сравнении с арендой GPU мощностей.
Ну, т.е. LPU это х10 к скорости, но будет ли это в 10 раз дешевле на круг, - не факт.

#HuggingFace #Groq
———
@tsingular

Hugging Face обновили курс по LLM

Крупное обновление популярного курса от Hugging Face - теперь фокус на создании как малых, так и больших языковых моделей.

Основные улучшения:
- Новая глава по файн-тюнингу моделей с практическими примерами
- Интеграция библиотек Datasets, Tokenizers, Accelerate и Evaluate
- Обновленные best practices для PyTorch
- Интерактивные квизы для проверки знаний
- Практические задания по классификации текста с BERT

Теперь студенты смогут не только использовать готовые модели, но и адаптировать их под свои задачи с современными подходами.

#HuggingFace #LLMCourse #FineTuning
------
@tsingular

Hugging Face встроил HTTP-сервер в библиотеку Transformers

Команда Hugging Face добавила встроенный HTTP-сервер с OpenAI-совместимым API прямо в библиотеку Transformers.

Теперь можно запустить локальный сервер командой transformers serve и подключать любые приложения без дополнительных настроек.

В демо показали работу с приложением Jan от Menlo Research - модели можно менять на лету, есть предварительная поддержка tool calls.

Это серьезно упростит тестирование новых моделей в агентах и фреймворках без необходимости настройки отдельной инфраструктуры.

#HuggingFace #Transformers #OpenAI
------
@tsingular

Hugging Face запустил курс по аудио-трансформерам

Hugging Face выпустил бесплатный курс по применению трансформеров для обработки аудио.

Курс покрывает распознавание речи, классификацию звука и генерацию речи из текста. Включает теорию, квизы и практические задания с предобученными моделями.

Предназначен для разработчиков с базовыми знаниями по ML и трансформерам. Опыт работы с аудио не требуется.

Доступна сертификация после выполнения упражнений. Материалы выходят блоками в течение нескольких недель.

#HuggingFace #курсы #audio #обучение
———
@tsingular