Анализ данных (Data analysis)
46.3K subscribers
2.31K photos
264 videos
1 file
2.04K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
ранняя версия Grok-3 (кодовое имя «шоколад») теперь №1 на Арене! 🏆

Грок-3 — это:
- Первая в мире модель, преодолевшая отметку в 1400 очков!
- №1 по всем категориям, достижение, которого становится все труднее достичь
🔥19👍65
🔥 CHRONOS — это инновационный подход к созданию хронологических сводок новостей, разработанный командой Alibaba-NLP!

💡 Он основан на итеративной генерации вопросов о теме и полученных документах для формирования последовательных хронологических резюме. В рамках проекта создан актуальный датасет для открытой хронологической сводки новостей, превосходящий существующие публичные наборы данных по размеру и продолжительности временных линий. Эксперименты показали, что метод CHRONOS эффективен в задачах открытой хронологической сводки и достигает сопоставимых результатов с передовыми методами в закрытых доменах, при этом значительно улучшая эффективность и масштабируемость.

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍76🔥3
📚 "Painful intelligence: What AI can tell us about human suffering

Эта бесплатная книга — путеводитель по миру машинного обучения!

Основное, что в ней рассматривается:
• Базовые концепции: Алгоритмы, математические основы и принципы построения моделей.
• Глубокое обучение: Нейронные сети, методы оптимизации и регуляризация для повышения качества моделей.
• Практические кейсы: Реальные примеры применения ML в различных отраслях, от анализа данных до прогнозирования.
• Современные методики: Настройка гиперпараметров, интерпретация результатов и стратегии улучшения производительности.

Для специалиста по машинному обучению эта книга станет полезным ресурсом, помогая углубить знания, найти новые подходы и повысить эффективность проектов.

📚 Книга

@data_analysis_ml


#freebook #book #ai #ml #machinelearning #opensource
14👍3🔥3🤯1
⚡️ Сudacodes от Maharshi-Pandya — это сборник примеров и демо-проектов для работы с NVIDIA CUDA, который будет полезен разработчикам, интересующимся параллельным программированием и ускорением вычислений на GPU.

Что внутри и как работает:
• Практические примеры: Код демонстрирует различные техники работы с CUDA, начиная с базовых примеров и заканчивая более сложными алгоритмами для параллельных вычислений.
• Реализация на CUDA: Примеры написаны с использованием C/C++ и CUDA-расширений, что позволяет увидеть, как правильно организовывать код для выполнения задач на GPU.
• Инструкции по сборке: В репозитории, как правило, присутствуют инструкции по компиляции с помощью NVCC и запуску примеров, что упрощает изучение и практическое применение технологий.

Чем полезен для специалистов:
• Это отличный ресурс для изучения принципов работы GPU и оптимизации вычислительных задач.
• Примеры помогут разобраться в особенностях параллельного программирования и эффективного использования вычислительных ресурсов NVIDIA.
• Подходит как для новичков, так и для опытных разработчиков, желающих улучшить навыки в области высокопроизводительных вычислений.

Репозиторий станет незаменимым помощником для тех, кто хочет погрузиться в мир CUDA и освоить передовые методы ускорения вычислений на графических процессорах.

git clone https://github.com/Maharshi-Pandya/cudacodes.git

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🔥2
✔️ Native Sparse Attention - революция в механизмах внимания от Deepseek.

NSA (Natively Sparse Attention) — новый механизм внимания, предложенный на заменуFull Attention, который значительно ускоряет обработку длинных последовательностей текста без потери качества модели.
NSA использует динамическую иерархическую стратегию, которая сочетает сжатие токенов на грубом уровне с точным отбором ключевых токенов. Это позволяет сохранить глобальное понимание контекста и локальную точность. NSA поддерживает сквозное обучение, совместим с GQA и MQA, что делает его пригодным не только для инференса, но и для обучения.
Модели, обученные с использованием NSA показали 9х ускорение при прямом распространении и 6х при обратном для последовательностей длиной 64к токенов относительно Full Attention. В декодировании - 11х.

arxiv.org

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍147🔥3
Бесплатно приехать в топовый вуз, поучиться у IT-экспертов и познакомиться с единомышленниками — звучит как мечта? Тогда вам стоит подать заявку на весенний студкемп Яндекс Образования в ФПМИ МФТИ. Он пройдёт с 14 по 26 апреля и будет посвящён робототехнике и генеративному ИИ.

В программе — лекции от экспертов, воркшопы, работа над проектами и вдохновляющая атмосфера. Студенты выпускного курса смогут поступить в магистратуру ФПМИ МФТИ, сдав на студкемпе вступительный экзамен. Участие, как и всегда, бесплатное. Каждому, кто пройдёт отбор, оплатят проезд и проживание. Успейте зарегистрироваться до 23 февраля.
4🌚2
🔥 CAG (Cache-Augmented Generation) — подход для улучшения генерации текста большими языковыми моделями без необходимости в реальном времени извлекать внешние данные, как в Retrieval-Augmented Generation (RAG)! Вместо этого CAG использует предварительную загрузку всех необходимых данных в контекст модели, а также кеширование параметров для ускорения генерации и снижения сложности системы.

🌟 Преимущества CAG включают снижение задержек (за счет отказа от этапа извлечения), повышение надежности (минимизация ошибок извлечения) и упрощение архитектуры. Ограничения подхода связаны с длиной контекстного окна LLM и ограничениями по объему данных, которые могут быть загружены.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍146🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Arena Trend август 2024 г. - февраль 2025 г

После нескольких падений и взлетов
Deepseek ai в прошлом месяце,
XAI вырывается вперед на вершину таблицы лидеров.

Гонка ИИ продолжается! 📈
17👍12🔥4
🚀 AI от Sakana AI пишет оптимизированный код для CUDA-ядрер для ускорения ИИ!

🔑 Основное:
AI CUDA Engineer — агентная система, которая автоматически создаёт высокооптимизированные CUDA-ядра, ускоряя операции машинного обучения в PyTorch в 10–100 раз.

CUDA-программирование сложное, требует глубоких знаний и часто кажется "алхимией". Эта система упрощает задачу, используя эволюционные алгоритмы и LLMs.
Уникальная идея — "Innovation Archive" (аналог "библиотеки навыков" из нашего проекта Voyager для Minecraft), где LLM сохраняет лучшие фрагменты кода, найденные в процессе эволюционного поиска.

Это идеальный пример AutoML: максимальная отдача от вычислительных ресурсов, делая ИИ быстрее и эффективнее.
Великолепная работа, Sakana AI!

Также интересно, что NVIDIA параллельно работает над схожими исследованиями по улучшению CUDA-ядер с помощью мощных LLM.
#AI #MachineLearning #CUDA #AutoML

Paper: https://pub.sakana.ai/ai-cuda-engineer/paper/
Kernel Archive Webpage: https://pub.sakana.ai/ai-cuda-engineer/
HuggingFace Dataset: https://huggingface.co/datasets/SakanaAI/AI-CUDA-Engineer-Archive

@data_analysis_ml
15👍7🔥3
🔥 Unstract — это платформа, использующая большие языковые модели для преобразования неструктурированных документов в структурированные данные! Она позволяет пользователям без навыков программирования создавать API и ETL-процессы для обработки данных.

🔎 Основные компоненты Unstract:

🌟 Unstract SDK: фреймворк для разработки инструментов и приложений на платформе Unstract, включая модули для кэширования, взаимодействия с LLM, векторными базами данных и индексирования.

🌟 Unstract Python Client: клиентская библиотека на Python для взаимодействия с API Unstract, позволяющая интегрировать возможности платформы в сторонние приложения.

🌟 Unstract Adapters: пакет на Python, обеспечивающий настройку и подключение различных LLM, эмбеддингов и векторных баз данных к платформе Unstract.

🔐 Лицензия: AGPL-3.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥3👍1