(для CUDA 12.0)
—
pip install nvidia-dali-cuda120NVIDIA Data Loading Library (DALI) — это библиотека для загрузки и предобработки данных с GPU-ускорением для приложений Deep Learning.
DALI может использоваться в качестве замены встроенных загрузчиков данных в популярных фреймворках глубокого обучения.
DALI решает проблему узкого места CPU, перекладывая предобработку данных на GPU.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥3👍1🥰1
—
pip install salesforce-merlion[dashboard]Merlion — это фреймворк Python для интеллектуального анализа временных рядов.
Merlion представляет собой набор ML-алгоритмов, позволяющих загружать и преобразовывать данные, строить и обучать модели, проводить обработку результатов моделирования и оценивать эффективности модели.
Merlion позволяет решать такие задачи как прогнозирование, обнаружение аномалий (как для одномерных, так и для многомерных временных рядов).
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22❤6🔥5❤🔥1
Forwarded from Яндекс
YaFSDP оптимизирует использование ресурсов графических процессоров (GPU). Нейросети обучаются быстрее, а требования к вычислительным ресурсам снижаются. Это особенно важно для небольших компаний и научных проектов.
Библиотека рассчитана в первую очередь на большие языковые модели, но также может ускорять и обучение других типов нейросетей, например, рисующих картинки. Исходный код YaFSDP опубликован на GitHub, а на Хабре можно подробнее узнать о разработке библиотеки.
Подписывайтесь
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍3❤2❤🔥2
—
pip install cogneeCognee поддерживает множество инструментов для различных операций:
— LanceDB или Neo4j для локального хранения графов и не только
— Qdrant и Weaviate для хранения векторных данных
— в качестве LLM можно использовать Anyscale или Ollama
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍4🔥2🥰1
Здесь описывается практически всё, что только может пригодится среднестатистическому специалисту Data Science;
вот некоторые из раскрываемых тем:
— разведочный анализ данных (EDA)
— преобразование данных, удаление пропущенных значений, выбросов
— веб-скрепинг, сбор данных из открытых источников
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11👍5🔥1🥰1😁1
Внутренние операции любого трансформера можно свести к простым матричным вычислениям — собственно это и реализовано в этой таблице.
Таблица воспроизводит структуру nanoGPT от Андрея Карпати с ~85000 параметрами.
И эта таблица представляет собой систему предсказания следующих символов на основе предыдущих, то есть для простоты каждый токен — это символ; для уменьшения сложности токенизируются только буквы A/B/C.
На прикреплённых изображениях — механизм самовнимания и полный вид всей таблицы
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10🔥6👍5
This media is not supported in your browser
VIEW IN TELEGRAM
—
pip install thread-devThread — это Jupyter Notebook на максималках, в нём можно использовать естественный язык для создания ячеек, редактирования кода, задавать вопросы GPT или исправлять ошибки, при всём этом можно редактировать работать с кодом, как в обычном Jupyter Notebook.
После установки для запуска достаточно прописать
thread или jupyter thread@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24👍9❤6
📚Grog book - это приложение streamlit, которое позволяет создавать книги из промптов с помощью Llama3 в Groq.
Оно неплохо работает с научно-популярными книгами и создает гаввы за считанные секунды.
▪Github
▪Приложение
@data_analysis_ml
Оно неплохо работает с научно-популярными книгами и создает гаввы за считанные секунды.
▪Github
▪Приложение
@data_analysis_ml
👍7❤4🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Новая модель 10 раз предыдущая SoTA!
💪 Модели различных размеров (от 25 миллионов до 1,3 миллиарда параметров) доступны на Hugging face Hub ✨
https://huggingface.co/collections/depth-anything/depth-anything-v2-666b22412f18a6dbfde23a93
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤5🔥5👏1
Отличная книга и масса Colab'ов от MIT для полного понимания Deep Learning
Определённо это один из лучших ресурсов по DL
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🔥10❤7🥱1