📌 Набор датасетов по программированию от HF.

HuggingFace, воодушевившись победой модели OlympicCoder над Sonnet 3.7 в бенчмарках LiveCodeBench и в заданиях Международной олимпиады по информатике 2024 года, опубликовал набор датасетов для предварительного обучения и тонкой настройки LLM в задачах генерации кода:

🟢Stack-Edu - 125 млрд. токенов образовательного кода на 15 языках программирования, отфильтрованных из The Stack v2

🟢GitHub Issues - 11 млрд. токенов из GitHub Issues

🟢Kaggle Notebooks - 2 млрд. токенов ноутбуков Kaggle по анализу данных

🟢CodeForces problems - 10 тыс. уникальных задач из сервиса CodeForces, 3 тыс из которых не были включены в массив обучения, использовавшийся DeepMind

🟢CodeForces problems DeepSeek-R1 - 8,69 Gb отфильтрованных трассировок рассуждений по задачам CodeForces

🟢International Olympiad in Informatics: Problem statements dataset (2020 - 2024) - уникальный набор из заданий Олимпиады по программированию, разбитый на подзадачи так, чтобы каждый запрос соответствовал решению этих подзадач

🟢International Olympiad in Informatics: Problem - DeepSeek-R1 CoT dataset (2020 - 2023) - 11 тыс трассировок рассуждений, выполненных DeepSeek-R1 в ходе решения заданий Олимпиады по программированию


@ai_machinelearning_big_data

#AI #ML #LLM #Dataset #HuggingFace

🔥 LayerAnimate — метод, позволяющий управлять отдельными слоями видео, меняя элементы переднего и заднего плана.

В отличие от существующих методов, которые рассматривают анимацию как единое целое, LayerAnimate предоставляет точечный контроль над каждым слоем, что делает процесс генераций более гибким и управляемым.

❓ Как это работает?
LayerAnimate решает проблему ограниченности данных, с помощью конвейера обработки данных, включающего:

🟢Автоматизированную сегментацию элементов для разделения анимации на слои.

🟢Иерархическое слияние состояний движения для упрощения управления кадрами сцены.

🟢Улучшение согласованности движения для создания плавных и реалистичных анимаций.

Модель позволяет переключаться между различными статическими изображениями или динамическими видео без влияния на анимацию переднего плана.

Особенно интересно выглядит image-video с использованием скетча, вместо текстового описания с данными о движении, можно использовать набросок с траекторией движения сцены и получить готовую сцену.

Мастхэв для тех, кто работает с анимацией. Больше примеров можно посмотреть здесь.

🟡Github
🟡Статья
🟡Проект

@ai_machinelearning_big_data

#videogenerator #video #ai #ml #opensource

⚡️ DeepSeek V3 strikes again!

На HF Появилась новая версия DeepSeek v3.

Еще Deepseek обновили свое приложение.

Страданиям OPENAI не будет конца 😂

~700GB, Лицензирование: mit, тестим тут.

Вы можете запустить его на компьютере M3 Mac Studio с 512 ГБ памяти, ( ~10 000 долларов) если используете квантованную версию на 352 ГБ через MLX.

🟡 HF :https://huggingface.co/deepseek-ai/DeepSeek-V3-0324/tree/main

@ai_machinelearning_big_data

#deepseek

💊 Свежее видео с роботами, выполняющими настоящие клинические работы.

Для этого гуманоидного робота
UnitreeRobotics G1 была разработана компексная система двуручного управления, включающая в себя систему отслеживание позы, продвинутые настройки захвата движений и контроллер для безопасного и точного манипулирования медицинскими инструментами.

Робот тестируется для семи различных медицинских процедур, включая физические осмотры, экстренные вмешательства, точные задачи, требующие мелкой моторики и др.

🤖 Очень скоро роботизированные врачи заполнят больницы

На видео робот управляется оператором дистанционно, автономность это следующий этап развития!

В будущем у каждого будет свой личный врач 💉

#robotics #engineering #technology #robots

📌 72B слишком много для VLM? А 7B параметров недостаточно!

QWEN только что выпустили новую модель на 32B параметров, Qwen2.5-VL-32B-Instruct.

Эта модель представляет собой значительный прогресс для своего размера. И что самое лучшее, она лицензирована Apache 2.

Модель выдает более подробные и структурированный ответы.

💡 Детальное понимание: превосходные возможности анализа изображений и визуальной логической дедукции.

📊 Превосходит сопоставимые модели, такие как Mistral-Small-3.1-24B и Gemma-3-27B-IT.

🚀 В нескольких тестах даже превосходит более крупный Qwen2-VL-72B-Instruct.

Еще один крутой релиз понедельника!

🟢Блог: https://qwenlm.github.io/blog/qwen2.5-vl-32b/
🟢Попробовать: https://chat.qwen.ai
ВЧ: https://huggingface.co/Qwen/Qwen2.5-VL-32B-Instruct
🟢Модель: https://modelscope.cn/models/Qwen/Qwen2.5-VL-32B-Instruct

@ai_machinelearning_big_data


#AI #ML #LLM #Dataset #HuggingFace

✔️ Ant Group использует китайские чипы для снижения стоимости обучения моделей на 20%

Ant Group успешно использовала хардверные решения от Alibaba и Huawei для обучения своих моделей, что позволило сократить затраты примерно на 20%. Результаты тестов показали, что китайские чипы сопоставимы по производительности с Nvidia H800. Хотя Ant Group пока полностью не отказывается от Nvidia для разработки ИИ, ее последние разработки в основном полагаются на альтернативные решения - AMD и чипы китайского производства.

Это свидетельствует о том, что китайские компании ускоряют локализацию технологий искусственного интеллекта, чтобы сократить затраты и уменьшить зависимость от американских чипов.
bloomberg.com

✔️ В Италии запущена первая в мире газета, созданная ChatGPT.

Итальянская газета Il Foglio начала месячный эксперимент, опубликовав первый в мире газетный выпуск, сгенерированный искусственным интеллектом. Цель эксперимента - изучить влияние ИИ на журналистику, используя ChatGPT для создания контента.

Редактор газеты Клаудио Сераса заявил, что ИИ использовался на всех этапах создания - от написания текстов и заголовков до цитат и резюме, при этом журналисты редакции участвуют в создании промптов для ИИ и проверке сгенерированных текстов.
asianfin.com

✔️ ARC Prize запускает бенчмарк ARC-AGI-2 с призовым фондом в 1 миллион долларов.

Команда ARC Prize запустила 2 этап бенчмарка ARC-AGI-2 для оценки «гибкости мышления» ИИ через задачи, которые человек решает за секунды, а алгоритмы — с трудом. Как и в прошлой версии, система проверяет способность к обобщению знаний, но теперь барьер выше: на нем базовые LLM набирают 0%, а продвинутые — меньше 4%. Призовой фонд бенчмарка -1 млн. долларов, главный приз получит разработка, которая сможет превысить 85% выполнения бенчмарка.

Решение задач ARC-AGI-2 требует интуиции и адаптивности — того, что в людях заложено природой. «Это не тест на эрудицию, а проверка умения мыслить вне данных», — поясняют разработчики.
arcprize.org

✔️ Поисковая система Atlantic позволит проверить, использовалась ли ваша работа для обучения моделей.

Компания The Atlantic разработала поисковый инструмент, позволяющий пользователям проверить, не фигурирует ли их работа в LibGen - архиве книг, научных работ и статей, который, как сообщается, использовался для обучения популярных языковых моделей.

Согласно судебным документам, набор данных LibGen использовался для обучения моделей Llama. OpenAI уже публично сообщила, что контент LibGen не включен в текущие версии ChatGPT или в API OpenAI. Другие компании, занимающиеся разработкой ИИ, пока не комментировали, использование LibGen в своем обучении.
theatlantic.com

✔️ OceanDS: 1,8 млрд. данных об океане стали основой первой океанографической LLM.

Китайская модель OceanDS, созданная для морских исследований, опирается на уникальную базу из 1,8 млрд токенов данных. В неё вошли оцифрованные научные работы, книги и отчёты — всё, что касается океана.

По тестам OceanDS обходит топовые LLM в точности ответов на профильные запросы — разрыв достигает 25%. Это первый в мире ИИ, заточенный под океанографию. Уже сейчас его тестируют в управлении природными ресурсами Китая, а в будущем — внедрят в другие отрасли.
news.cgtn.com

@ai_machinelearning_big_data

#AI #ML #Research #NLP

🌟 NVIDIA выкатили MambaVision на Hugging Face — мощную гибридную модель, объединяющую Mamba и Transformers для задач компьютерного зрения.

🔹 Главные особенности:
▪ SOTA-производительность: превосходит существующие модели по точности (Top-1) и скорости обработки на ImageNet-1K.
▪ Гибридная архитектура: сочетает Mamba (State Space Models, SSMs) и архитектуру трансформеров, улучшая эффективность обработки изображений.
▪ Подходит для задач классификации изображений, извлечения признаков и других задач CV.

MambaVision подойдет вам для автоматического анализа изображений, фильтрации данных и интеграции в AI-системы для компьютерного зрения.

✔️ MambaVision-L3-256-21K: https://huggingface.co/nvidia/MambaVision-L3-512-21K

#nvidia #mamba #computervision

🖥 Некоторые реддиторы пишут, что уже получили доступ к Gemini 2.5 Pro, а пока мы ждем анонса, Google выкатили набор новых ИИ-моделей: TxGemma для ускорения разработки лекарств и проведения научных исследований в медицине:

🌟 TxGemma – это набор открытых моделей на базе Gemma, способных обрабатывать как обычный текст, так и структурированную медицинскую информацию (молекулы, химические соединения, белки).

🟢Модели доступны в трёх размерах: 2B, 9B и 27B. Каждый размер включает версию «predict», специально адаптированную для узких задач из Therapeutic Data Commons, например, для предсказания токсичности молекулы.

Крупнейшая модель TxGemma (версия 27B predict) демонстрирует впечатляющие результаты.

Она не только превосходит или примерно равна предыдущей SOTA(Tx-LLM) почти по всем задачам, но и соперничает или обходит многие модели, специально разработанные для узких медицинских областей.

✅ HF: https://huggingface.co/collections/google/txgemma-release-67dd92e931c857d15e4d1e87

#google #Gemma #drugdiscovery