🔧 Data-Juicer — универсальная система для обработки текстовых и мультимодальных данных, предназначенная для работы с foundation-моделями. Проект предлагает более 100 готовых операторов для очистки, анализа и синтеза данных, поддерживая сценарии предобучения и тонкой настройки моделей.

Data-Juicer уже интегрирован в платформу Alibaba PAI и позволяет обрабатывать миллиарды образцов данных за часы благодаря распределённым вычислениям через Ray. Для тестирования доступен облачный JupyterLab, а сообщество активно развивает рецепты обработки под разные задачи.

🤖 GitHub

@data_analysis_ml

🚀 Hugging Face Jobs — полностью автоматический способ запускать CPU и GPU задачи прямо из CLI или Python-скриптов ⚡

Вам не нужно искать железо или настраивать окружение — просто запускайте скрипт, экспериментируйте и стройте свои проекты!

📦 Запускается очень просто:

hf jobs run python:3.12 python -c "print('Hello from the cloud!')"

https://huggingface.co/docs/huggingface_hub/en/guides/jobs

🚀 GitHub решил главную боль open-source ИИ-проектов — теперь inference доступен всем

Новая инициатива GitHub Models позволяет запускать LLM прямо из кода или CI,
⚡️ без API-ключей OpenAI, без развёртывания моделей, без костылей.

🔧 Как это работает:
- Полная совместимость с openai.ChatCompletion.create
- Поддержка GPT‑4o, Llama 3, DeepSeek и др.
- Авторизация через обычный GITHUB_TOKEN
- Бесплатно для OSS и личных аккаунтов
- Можно использовать даже в GitHub Actions (просто `permissions: models: read`)

💡 Зачем это нужно:
- Убирает барьер входа для пользователей и контрибьюторов
- Помогает легко добавлять ИИ‑фичи в open-source проекты
- Работает с OpenAI SDK, LangChain, Python, Node.js и другими библиотеками

📦 Теперь запускать AI в open-source так же просто, как git push.

📝 Подробности:
https://github.blog/ai-and-ml/llms/solving-the-inference-problem-for-open-source-ai-projects-with-github-models