Анализ данных (Data analysis)
46.3K subscribers
2.3K photos
264 videos
1 file
2.04K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🌟 Симуляция и рендеринг тканей в реальном времени

Симуляция и рендеринг тканей, особенно имеющих сложную структуру, в режиме реального времени довольно сложны и требуют больших затрат ресурсов. Исследование, представленное в рамках конференции SIGGRAPH 2024, было создано учеными из Шаньдунского и Нанкинского университетов в Китае с целью решить эту проблему при помощи нейросетей.

Плетеные ткани, как правило, имеют регулярно повторяющуюся структуру и рисунок. Существенное снижение нагрузки и уменьшение объема достигается за счёт автокодировщика – алгоритма, который кодирует паттерн этой структуры в латентный вектор с помощью энкодера, а затем расшифровывает декодером для получения реалистичного отображения.

Энкодер в нейронной сети отвечает за сжатие информации о форме объекта и его внешнем виде в латентный вектор. Для этого алгоритм сначала преобразует геометрическую структуру объекта и параметры его внешнего вида в числовые характеристики. Затем эти характеристики объединяются в один вектор через небольшую нейронную сеть, чтобы представить материал объекта в более компактном виде для дальнейшей обработки декодером.

Декодер же интерпретирует этот латентный вектор в изображение, сохраняя паттерн структуры и материал объекта.

Именно благодаря кодированию ткани в состояние латентного вектора нейросеть может отражать разные материалы, разделяя их, в отличие от некоторых других способов, требующих предварительного обучения под каждый тип материала.

Создатели представили ряд тестов, которые показали, что их инструмент способен в реальном времени рендерить ткани, а также редактировать параметры, такие как цвет, твёрдость, паттерн ткани и масштаб. В результате был достигнут баланс между качеством, скоростью и оптимальным использованием ресурсов компьютера.

🟡 Arxiv

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍3🔥3🥰2
🌟 Algebraic-NCD — совсем свежая библиотека Python, которая предоставляет алгебраическое описание алгоритмов Deep Learning

Цель Algebraic-NCD — предоставить алгебраические описания алгоритмов глубокого обучения.

Алгебраические описания алгоритмов имеют массу приложений: например, они позволяют преобразовывать алгоритмы в диаграммы, что помогает легко понять архитектуру модели и т.д.
Ну и конечно алгебраические описания формируют основу для разных математических преобразований и для дальнейшего анализа алгоритмов.

🖥 GitHub
🟡 Анонс от автора в X

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍126🥰2
🌟 Встречайте квантизованную версию Mistral Large Instruct 2407 GGUF

Доступны версии с разной степенью сжатия, в том числе 1 бит и 2 бита. Подробнее про квантизацию в целом
А это оригинальная, не квантизованная модель

🤗 Hugging Face

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍84
🌟 Lightly — фреймворк Python для самоконтролируемого обучения на изображениях

pip install lightly

Lightly имеет много возможностей:
во-первых, это большое количество готовых модулей (таких как функции потерь, функции активации);
во-вторых, это простота в использовании, обусловленная написанием в стиле PyTorch;
в-третьих, это поддержка пользовательских базовых моделей для самоконтролируемого предварительного обучения.

А ещё Lightly поддерживает распределенное обучение с помощью PyTorch Lightning.

🖥 GitHub
🟡 Доки

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍96🔥3
⚡️ Линейная алгебра для CV и ML — мощный свободный учебник от университета Пенсильвании

Совсем свежий учебник, опубликован в конце марта.
Здесь на 785 страницах детально разбираются темы линейной алгебры, особенно актуальные для ML-приложений.

Вот несколько из разбираемых тем:
— понятие вектора и векторного пространства
— понятие линейного оператора
— связь операторов и матриц
— матричные разложения (LU, SVD и др)
— собственные вектора и собственные значения
— ортогональные, унитарные операторы
— симметричные и эрмитовы операторы
— квадратичные формы, приведение к главным осям

🟡 Linear algebra for Computer Vision, Robotics, and Machine Learning

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍246🥰1🤨1
🌟 Pomegranate — библиотека Python для создания вероятностных моделей, таких как байесовские сети или марковские модели

pip install pomegranate

Модели, реализованные с помощью pomegranate, могут быть настроены более гибко, чем с помощью других библиотек. Например, можно создать классификатор Байеса, который использует различные типы распределений для каждого признака (например, для связанных со временем признаков — экспоненциальное распределение, а для других признаков — распределение Пуассона).

Или, скажем, можно построить единую модель из нескольких байесовских сетей или сделать классификатор Байеса со скрытой марковской моделью, который делает прогнозы по последовательностям.

🖥 GitHub
🟡 Доки
🟡 Примеры использования

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👍65❤‍🔥3
🌟 Voyager — это библиотека Python (и Java) для быстрого приближенного поиска ближайших соседей

pip install voyager

Voyager может использоваться как из Python, так и из Java;
библиотека опирается на алгоритм HNSW, основанный на пакете hnswlib, плюс использует много дополнительных функций.
Voyager активно используется в продакшене в Spotify

🖥 GitHub
🟡 Доки
🟡 Видео про Voyager

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍5❤‍🔥3
🌟 Click-Gaussian — интерактивная сегментация любых 3D-гауссианов

Интерактивная сегментация 3D-гауссианов открывает широкие возможности для работы с 3D-сценами в реальном времени, однако текущие методы имеют массу недостатков.

Чтобы улучшить ситуацию, Seokhun Choi и его коллеги из Сеула и они предлагают метод Click-Gaussian, который позволяет обрабатывать каждый клик 10 мс, что в 15-130 раз быстрее, чем предыдущие методы; при этом Click-Gaussian имеет ещё и большую точность сегментации.

🟡 Страничка Click-Gaussian
🟡 Arxiv

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍4🔥4
🔥 Продвинутый курс по Python

Этот курс включает материалы по углубленным концепциям Python и анализу данных. В него входят:

▪️ Упаковка и распаковка значений, менеджеры контекста, декораторы и другие темы;
▪️ Работа с классами, включая магические методы;
▪️ Обработка и визуализация данных;
▪️ Основы машинного обучения.

📌 Ссылка

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍188🔥5