Машинное обучение RU
17.7K subscribers
1.57K photos
207 videos
11 files
2.04K links
Все о машинном обучении

админ - @workakkk

@data_analysis_ml - анализ даннных

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram -лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python 📚

@datascienceiot - 📚

РКН: clck.ru/3FmrUw
Download Telegram
🚨LaSe-E2V: К преобразованию событий в видео с учетом семантики, ориентируясь на язык

Новый фреймворк под названием LaSe-E2V, который может обеспечить высококачественную реконструкцию E2V с учетом семантики с точки зрения языка.моделями распространения с учетом текстовых условий.

🌟𝐏𝐫𝐨𝐣: https://vlislab22.github.io/LaSe-E2V/
🚀𝐀𝐛𝐬: https://arxiv.org/abs/2407.05547

@machinelearning_ru
👍62🔥1
📢 Stable Audio Open!

Stability AI открывает модель генерации звука со стереозвуком переменной длительности (до 47 секунд) на частоте 44,1 кГц на основе текстовых прометав

proj: https://stability-ai.github.io/stable-audio-open-demo/
abs: https://arxiv.org/abs/2407.14358

@machinelearning_ru
👍7🔥32
This media is not supported in your browser
VIEW IN TELEGRAM
👣 Cake — это фреймворк на Rust, разработанный для распределенного вывода LLMтипа LLama3 (70B+).

Его цель — сделать большие языковые модели доступными путем объединения потребительских устройств в гетерогенный кластер, включающий iOS, Android, macOS, Linux и Windows. Это позволяет эффективно использовать устаревающие устройства, делая ИИ более доступным и демократичным.

Cake распределяет блоки трансформеров среди нескольких устройств, что делает возможным вывод моделей, превышающих ограничения памяти отдельных GPU-устройств.

Фреймворк настраивается как для рабочих, так и для главных узлов с REST API, совместимым с OpenAI, для управления задачами распределенного вывода. Конфигурационные файлы определяют топологию, назначая слои модели конкретным рабочим узлам, что обеспечивает эффективное распределение ресурсов в кластере.

**Ключевые особенности:**


* Распределенный вывод крупных моделей
* Гетерогенный кластер устройств
* Настраиваемые рабочие и главные узлы
* Совместимость с REST API OpenAI
* Оптимальное распределение ресурсов

На видео энтузиаст запускает Llama3 8B на собственном кластере, состоящем из, iPad Pro, MacBook Pro, iPhone 15 Pro Max, NVIDIA GeForce 3080 и 2x NVIDIA Titan X Pascal.

🔗 Github

@rust_code
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🔥3
💻Postgres Professional обновила бесплатный курс по администрированию PostgreSQL 16

Компания Postgres Professional заявила о выпуске обновлённого курса по администрированию свободно распространяемой СУБД PostgreSQL. DBA-1 представляет собой базовый курс для администраторов PostgreSQL, разработанный специалистами Postgres Professional. Материал доступен для самостоятельного изучения на сайте разработчиков и в авторизованных учебных центрах.

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥21
⚡️ Новая разработка Яндекса и IST Austria для качественного сжатия нейросетей

Команда Yandex Research разработала новые методы сжатия больших языковых моделей. С их помощью размер модели можно уменьшить до 8 раз, при этом сохранив качество ответов на 95%. Эти алгоритмы помогут стартапам по всему миру сократить ресурсы для работы больших языковых моделей и позволят запускать их на устройствах с небольшой вычислительной мощностью.

habr: https://habr.com/ru/companies/yandex/articles/830410/

@machinelearning_ru
👍126🔥6
📢 Новые модели LLaMA от Meta уже здесь! 📢

Ученые обучили большую модель с параметрами значительно превышающими 8/70B, а затем провели дистилляцию, создавая компактные и эффективные модели. Этот инновационный подход обещает опенсорс на уровне GPT-4!

📈 В сравнении версий 3.1 и 3.0, благодаря дистилляции 405B в меньшие модели, бенчмарки заметно улучшились.

🦙 Теперь понятно, почему OpenAI недавно представила GPT-4 Mini – конкуренция усиливается! Скоро у нас будут суперумные модели, которые быстро работают на любом железе.

Будущее ИИ становится еще ярче! 🚀

#ml #machinelearning #ai #robots

📌Релиз моделей

@machinelearning_ru
👍82🔥2
🖥 Deep Java Library — это высокоуровневая open-source библиотека Java для ML и Deep Learning

DJL — это удобная библиотека машинного обучения для языка Java, особенностью которой является зоопарк моделей (Model Zoo), позволяющий получить готовую модель по описываемым параметрам из списка доступных моделей. Также имеется возможность создать свою модель, сохранить на диск и загрузить для дальнейшего использования.

🖥 GitHub
🟡 Доки
🟡 Примеры использования
🟡 Обзор DJL

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥3👍2
🦎Armadillo - библиотека ML на С++

Armadillo — это библиотека линейной алгебры на C++, разработанная НИЦТА и независимыми участниками, применяемая для научных вычислений в машинном обучении и других областях, таких как биоинформатика и компьютерное зрение. Библиотека оптимизирует вычисления благодаря многопоточности OpenMP и предоставляет интерфейс, похожий на MATLAB. Подходит для быстрой реализации научных исследований в продуктивные среды.

#machinelearning #DataScience #python #AI #DeepLearning #cplusplus #mlalgorithms #DataVisualization #jobs

📎 Описание либы

@machinelearning_ru
4👍4🔥2
☕️ Espresso на GitHub — это крутая штука для любителей работать со звуком! Это система распознавания речи, созданная на базе PyTorch и Fairseq.

Requirements перед установкой:
✔️PyTorch version >= 1.10.0
✔️Python version >= 3.8
✔️Для тренировки новых моделей нужна видеокарта NVIDIA GPU и NCCL


Эта система использует глубокое обучение, чтобы точно распознавать и преобразовывать речь в текст. Ты можешь использовать Espresso для разных аудиопроектов, например, для создания инструментов автоматической транскрипции. Интересно, как технологии могут облегчить жизнь, не правда ли?

📌GitHub

#ml #machinelearning #ai #robots

@machinelearning_ru
👍63🔥2
💻Skytable — современная масштабируемая NoSQL БД с BlueQL, разработанная для обеспечения производительности, масштабируемости и гибкости

Skytable — это in-memory key-value БД, основанная на широких столбцах, с поддержкой дополнительных моделей данных, которая использует собственный механизм хранения (структурированные записи с оптимизированными транзакциями) и позволяет выполнять запросы с помощью собственного языка запросов BlueQL — надмножества SQL.

🖥 GitHub
🟡 Доки

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥32
Forwarded from Machinelearning
🌟 Shape of Motion: Построение динамических 3D-сцен по видео.

Shape of Motion представляет динамическую сцену как набор 3D-гауссианов, перемещающихся и вращающихся во времени.

Движение каждого элемента сцены параметризуется как линейная комбинация компактного набора базисных движений SE(3), что дает возможность разделить сцену на группы, движущиеся как жесткие тела.
Преодоление неоднозначности реконструкции достигается с помощью низкоразмерных структур 3D-движения через базисы SE(3) и комплексный набор априорных данных, на основе монокулярных карты глубины и долгосрочных 2D-треков.

Процесс финального построения 3D-сцены основан на комбинации статических и динамических гауссианов, с учетом прогноза реконструкции для цвета, глубины и масок и синтезированной согласованности этих соответствий во времени.

На тренировочном наборе данных (Iphone dataset, набор видео размером ~ 300GB) были построены более 40 тысяч динамических и более 100 тысяч статических гауссианов, 20 базисов SE(3).
Время обучения на 1хGPU A100 с использованием оптимизатора Adam разрешением 960x720 составило чуть более 2-х часов при скорости рендеринга 40 кадров в секунду.

По результатам тестов в процессе обучения, Shape of Motion показал хорошие результаты по качеству и консистентности построения сцен.
Однако, метод все еще требует оптимизации для каждой конкретной сцены и не может обрабатывать значительные изменения ракурса камеры. Также установлена критическая зависимость от точных параметров камеры и пользовательского ввода для создания маски движущихся объектов.

▶️Локальный запуск Shape of Motion:


# Install via conda

conda create -n som python=3.10
conda activate som

# pip install

pip install -r requirements.txt
pip install git+https://github.com/nerfstudio-project/gsplat.git

python run_training.py --work-dir <OUTPUT_DIR> --data:<DATA> --data.seq-name <DATASEQ_NAME>


👉Препроцессинговая обработка (построение карт глубины, маскирование объектов, 2D трекинг и оценка камеры) выполняется сторонними библиотеками. Внимательно ознакомьтесь с документацией

👉Лицензирование: MIT


Страница проекта
Arxiv
Датасет на GDrive
Github [ Stars: 365 | Issues: 2 | Forks: 18]


@ai_machinelearning_big_data

#AI #4D #ShapeOfMotion #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥32
🔥 Проект "ML System Design: 450 Примеров для Изучения" представляет собой обширную базу, содержащую описания систем машинного обучения более чем от 100 компаний, включая таких гигантов, как Netflix и Slack.

ы можете исследовать базу данных, применяя фильтры по отраслям или направлениям машинного обучения, чтобы найти нужные примеры.

▪️Проверка качества сгенерированного ИИ материала;
▪️Netflix: классификация контента;
▪️Google: исправление грамматических ошибок
▪️ Полная база

@machinelearning_ru
🔥3
Forwarded from Machinelearning
Lite-Oute-1: семейство компактных base и instruct моделей

Oute AI представила в открытом доступе модели на 300М, 150M и 65М параметров в base и instruct вариантах и в GGUF-формате. Список релиза:

🟠Lite-Oute-1-300M Base
🟠Lite-Oute-1-300M-Instruct
🟠Lite-Oute-1-300M Base GGUF
🟠Lite-Oute-1-300M-Instruct GGUF
🟠Lite-Mistral-150M-v2-Instruct
🟠Lite-Mistral-150M-v2-Instruct GGUF
🟠Lite-Oute-1-65M Base
🟠Lite-Oute-1-65M-Instruct
🟠Lite-Oute-1-65M Base GGUF
🟠Lite-Oute-1-65M-Instruct GGUF

Lite-Oute-1-300M: "старшая" модель семейства на архитектуре Mistral с 300М параметров и контекстом в 4096 токенов. Эта модель специально разработана в качестве отправной точки для тонкой настройки при выполнении различных задач. Она обеспечивает баланс между компактными размерами и возможностями.
Некоторые оценки 0-shot: MMLU - 24.87, Winogrande- 53.35, OpenBookQA - 30.80

Lite-Oute-1-300M Base GGUF: диапазон квантования от FP16 (600 МВ) до Q2_K (176 MB), всего 15 вариаций.

Lite-Oute-1-300M-Instruct: instruct-версия 300М Base с теми же параметрами. Модель использует шаблон ChatML.
Некоторые оценки 0-shot: MMLU - 24.00, Winogrande- 53.75, OpenBookQA - 32.20

Lite-Oute-1-300M-Instruct GGUF: диапазон квантования от FP16 (600 МВ) до Q2_K(176 MB), всего 15 вариаций.
Модель использует шаблон ChatML

Lite-Mistral-150M-v2-Instruct: модель на основе архитектуры Mistral, включающая около 157М параметров. Основной целью создания этой модели была разработка компактной и эффективной модели, способной работать на широком спектре устройств, сохраняя при этом разумный уровень функциональности и согласованности для своего небольшого размера. Модель была обучена на ~ 8 миллиардах токенов.
Некоторые оценки 0-shot: MMLU - 25.28, Winogrande- 51.78, OpenBookQA - 28.40
⚠️ Модель чувствительна к используемому шаблону чата, уточните его на странице модели на HF.

Lite-Mistral-150M-v2-Instruct GGUF: диапазон квантования от FP16 (314 МВ) до Q2_K (68.5 MB), всего 15 вариаций.
⚠️ Модель чувствительна к используемому шаблону чата, уточните его на странице модели на HF.

Lite-Oute-1-65M Base: экспериментальная ультракомпактная базовая модель, построенная на архитектуре LLaMA и содержащая около 65М параметров.
Эта модель предназначена в качестве отправной точки для тонкой настройки под узкоспециальные задачи. Из-за своего чрезвычайно малого размера эта модель имеет базовые возможности генерации текста, но испытывает трудности с инструкциями или поддержанием связности тем.
Некоторые оценки 0-shot: MMLU - 23.05, Winogrande- 51.70, OpenBookQA - 27.60

Lite-Oute-1-65M Base GGUF: диапазон квантования от FP16 (131 МВ) до Q2_K (31.5 MB), всего 15 вариаций.

Lite-Oute-1-65M-Instruct: instruct-версия 65М Base с теми же параметрами.
Некоторые оценки 0-shot: MMLU - 23.45, Winogrande- 50.04, OpenBookQA - 28.60.
Модель использует шаблон ChatML.

Lite-Oute-1-65M-Instruct GGUF: диапазон квантования от FP16 (131 МВ) до Q2_K(31.5 MB), всего 15 вариаций.
Модель использует шаблон ChatML


🟡Страница проекта
🟡Все модели на HF


@ai_machinelearning_big_data

#AI #TinyLM #ML #OuteAI #GGUF
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🔥2