Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
269 videos
1 file
2.06K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
Media is too big
VIEW IN TELEGRAM
Deep-research-web-ui от AnotiaWang представляет собой веб-интерфейс для проекта deep-research с рядом улучшений и исправлений.

Инструмент может быть весьма полезен для специалистов по машинному обучению, заинтересованных в создании или использовании интерактивного инструмента для глубокого исследования.

В целом, если ваша работа связана с исследовательской аналитикой или прототипированием AI-решений, данный репозиторий может стать интересным и полезным инструментом для экспериментов и дальнейшей разработки.
(см. полное описание в README: )

Преимущества
- Инновационный подход к исследованиям
Проект реализует «глубокого» ассистента исследователя, который сочетает возможности поисковых систем, веб-скрейпинга и больших языковых моделей. Это позволяет проводить итеративный и детальный анализ любой темы, что может быть интересно для специалистов, занимающихся исследовательскими проектами или прототипированием новых идей.

- Безопасность и приватность
Все данные, включая настройки и API-запросы, остаются локально в браузере пользователя. Такой подход повышает уровень безопасности и может быть важен для специалистов, обеспокоенных конфиденциальностью данных при работе с внешними API.
(см. раздел "Safe & Secure" в описании: )

- Интерактивность и визуализация процесса
Репозиторий реализует возможность отображения процесса исследования в виде дерева, что помогает визуально отслеживать ход поиска и анализировать промежуточные результаты. Кроме того, поддерживается потоковая передача ответов от AI в реальном времени, что улучшает взаимодействие с системой.
(см. описание функционала: )

- Поддержка экспорта результатов
Возможность экспортировать
финальный отчёт в PDF-формате делает проект удобным для подготовки исследовательских материалов и отчётов, что может быть полезно для демонстрации результатов работы или дальнейшей аналитики.

- Многообразие провайдеров
Проект поддерживает работу с различными AI-провайдерами (OpenAI совместимые, DeepSeek, OpenRouter, Ollama) и веб-поисковыми сервисами (Tavily, Firecrawl). Такая гибкость позволяет специалистам выбирать инструменты, наиболее подходящие для их задач, и проводить сравнительный анализ результатов работы разных сервисов.

- Современные технологии и Docker-поддержка
Проект построен на современном стеке (Nuxt, TypeScript, Vue) и включает инструкции по развертыванию с помощью Docker. Это упрощает интеграцию в существующую инфраструктуру и позволяет быстро запустить систему в тестовом или продакшн-режиме.


- Активное развитие и обновления
В разделе "Recent updates" отмечены регулярные улучшения, исправления ошибок и расширение функционала (например, добавление поддержки новых моделей и провайдеров, улучшение работы экспорта и визуализации). Это свидетельствует о том, что проект находится в стадии активного развития.

Недостатки и возможные ограничения
- Узкая специализация
Проект ориентирован на создание исследовательского ассистента, что может быть полезно не для всех специалистов по машинному обучению. Если ваша область интересов лежит вне применения таких интерактивных инструментов для исследования, функционал репозитория может показаться избыточным или не совсем релевантным.

- Документация и настройка
Хотя README содержит основные инструкции по развертыванию и использованию,
для некоторых специалистов может потребоваться более подробная документация или примеры использования в сложных сценариях. Для продвинутой интеграции или кастомизации могут возникнуть вопросы, требующие дополнительного изучения кода.

- Зависимость от внешних провайдеров
Проект поддерживает работу с несколькими AI- и веб-поисковыми сервисами. Однако если вы планируете использовать нестандартные провайдеры или столкнётесь с изменениями в API этих сервисов, потребуется дополнительная адаптация кода.

Github: https://github.com/AnotiaWang/deep-research-web-ui

@data_analysis_ml
👍138🔥4
Forwarded from Machinelearning
✔️ Бесплатные полезные руководства по дистилляции моделей:

1. Руководство по дистилляции от OpenAI 🖥

Руководство содержит подробное описание процесса передачи знаний от более крупной модели к компактной, c сохранением высокой производительности модели.

Основные аспекты, рассмотренные в руководстве:
- Сохранение выходных данных крупной модели: Создание набора данных, содержащего предсказания большой модели, которые будут использоваться для обучения меньшей модели.

- Оценка производительности моделей: Сравнительный анализ точности и эффективности как крупной, так и компактной моделей на основе различных метрик.

- Создание обучающих данных для компактной модели:
Использование предсказаний крупной модели для генерации обучающего набора данных, способствующего эффективному обучению меньшей модели.

- Оценка дообученной компактной модели: Проверка производительности и точности компактной модели после процесса дистилляции для подтверждения соответствия требованиям.

🔗Ссылка

2. Учебник по дистилляции знаний от PyTorch 🔥

Руководство от PyTorch, которое содержит практическое введение в технику передачи знаний для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами.

Основные аспекты руководства:

- Извлечение скрытых представлений: В гайде показано, как получить промежуточные представления из обученной модели для дальнейшего использования.

- Модификация циклов обучения в PyTorch: Здесь рассматривается интеграция дополнительных функций в стандартные циклы обучения для эффективной передачи знаний.

- На примере показан процесс обучения компактной модели, с ипользованием предсказания более сложной модели в качестве ориентира.

Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом, если вы хотите научиться оптимизировать свои модели для использования в средах с ограниченными ресурсами.

Ссылка

3. Jetson Introduction to Knowledge Distillation от Nvidia 🖥

В данном руководстве рассматривается процесс передачи знаний от модели OpenCLIP (vision-language model) к модели ResNet18 для классификации на наборе данных STL10.

Особое внимание уделяется тому, как выбор данных, методы дистилляции и архитектура модели, влияют на итоговую точность.

Кроме того, обсуждаются методы профилирования и оптимизации моделей для их развёртывания на устройствах NVIDIA Jetson Orin Nano.

🔗 Ссылка

4. Учебник по дистилляции знаний от Keras ⭐️

Подробно описывается концепция дистилляции знаний и ее применение в обработке медицинских изображений.

🔗Github
🔗Учебник Keras

5. Руководство по дистилляции от
huggingface
🤗

Здесь показано, как выполнять дистилляцию знаний шаг за шагом на конкретном примере.

🔗 Ссылка

6. Дистилляция знаний для задач компьютерного зрения от huggingface 👁

Здесь рассматривается, как сделать файнтюн ViT-модели в MobileNet с помощью API Trainer из Transformers.

🔗Ссылка

#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍136🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Кто-то только что объединил «OpenAI Operator» с «Replit agent», чтобы создать приложение!

Посмотрите, как два AI-агента объединяются, обмениваются данными и начинают тестирование.

Еще несколько месяцев, и полный цикл разработки можно будет делать с помощью агентов.

@data_analysis_ml
👍2810🔥7😁5😢2
🔥 Leffa — это унифицированная платформа для генерации изображений людей с возможностью точного управления их внешним видом (виртуальная примерка) и позой (перенос позы)!

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍5🔥2
Auto Deep Research — это мощный AI-ассистент для исследователей и разработчиков.

Ключевые особенности:

- Экономичность и открытый исходный код: Забудьте о дорогих подписках! Auto Deep Research предлагает доступную альтернативу с оплатой по мере использования, сохраняя высокую производительность. Как открытое решение, оно обеспечивает прозрачность и развитие сообщества.

- Высокая производительность: Система демонстрирует результаты, сопоставимые с OpenAI Deep Research, занимая лидирующие позиции в GAIA Benchmark среди open-source решений.

- Простота использования: Система развертывания в один клик позволяет мгновенно запускать передовые исследовательские возможности без сложных настроек.

- Универсальная совместимость: Поддержка интеграции с различными большими языковыми моделями (OpenAI, Anthropic, Deepseek и другие) и гибкие режимы взаимодействия с функциями и без них.

GitHub

#agent #llm #ai
👍1441🔥1
🚀 Mistral-24B-Reasoning устанавливает новый стандарт для моделей рассуждений с открытым исходным кодом, превосходя s1.1-32B с меньшим количеством параметров!

Модель Mistral-Small-24B-Instruct-2501-reasoning представляет собой специализированную версию модели Mistral-Small-24B-Instruct-2501, оптимизированную для задач математического рассуждения.

Она была дообучена на датасетах: OpenR1-Math-и s1K-1.1, с целью повышения своих способностей к логическому и математическому анализу.

Ключевые особенности:
- Оптимизация для математических задач: Модель адаптирована для решения сложных математических задач, включая вычисления, доказательства теорем и анализ математических выражений.

- Высокая производительность: С 24 миллиардами параметров модель достигает результатов, сопоставимых с более крупными моделями, обеспечивая точность и эффективность в математическом рассуждении.

- Открытый исходный код: Доступность модели на платформе Hugging Face позволяет исследователям и разработчикам интегрировать её в различные приложения и проводить дополнительные исследования.

📊 Новая SOTA для открытых моделей на базе R1:
Результат на Math 500: 95,0%
Результат на AIME 2025: 53.33%
Результат наGPQA-D: 62,02%

https://huggingface.co/yentinglin/Mistral-Small-24B-Instruct-2501-reasoning
👍116🔥2
ранняя версия Grok-3 (кодовое имя «шоколад») теперь №1 на Арене! 🏆

Грок-3 — это:
- Первая в мире модель, преодолевшая отметку в 1400 очков!
- №1 по всем категориям, достижение, которого становится все труднее достичь
🔥19👍65
🔥 CHRONOS — это инновационный подход к созданию хронологических сводок новостей, разработанный командой Alibaba-NLP!

💡 Он основан на итеративной генерации вопросов о теме и полученных документах для формирования последовательных хронологических резюме. В рамках проекта создан актуальный датасет для открытой хронологической сводки новостей, превосходящий существующие публичные наборы данных по размеру и продолжительности временных линий. Эксперименты показали, что метод CHRONOS эффективен в задачах открытой хронологической сводки и достигает сопоставимых результатов с передовыми методами в закрытых доменах, при этом значительно улучшая эффективность и масштабируемость.

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍76🔥3
📚 "Painful intelligence: What AI can tell us about human suffering

Эта бесплатная книга — путеводитель по миру машинного обучения!

Основное, что в ней рассматривается:
• Базовые концепции: Алгоритмы, математические основы и принципы построения моделей.
• Глубокое обучение: Нейронные сети, методы оптимизации и регуляризация для повышения качества моделей.
• Практические кейсы: Реальные примеры применения ML в различных отраслях, от анализа данных до прогнозирования.
• Современные методики: Настройка гиперпараметров, интерпретация результатов и стратегии улучшения производительности.

Для специалиста по машинному обучению эта книга станет полезным ресурсом, помогая углубить знания, найти новые подходы и повысить эффективность проектов.

📚 Книга

@data_analysis_ml


#freebook #book #ai #ml #machinelearning #opensource
14👍3🔥3🤯1
⚡️ Сudacodes от Maharshi-Pandya — это сборник примеров и демо-проектов для работы с NVIDIA CUDA, который будет полезен разработчикам, интересующимся параллельным программированием и ускорением вычислений на GPU.

Что внутри и как работает:
• Практические примеры: Код демонстрирует различные техники работы с CUDA, начиная с базовых примеров и заканчивая более сложными алгоритмами для параллельных вычислений.
• Реализация на CUDA: Примеры написаны с использованием C/C++ и CUDA-расширений, что позволяет увидеть, как правильно организовывать код для выполнения задач на GPU.
• Инструкции по сборке: В репозитории, как правило, присутствуют инструкции по компиляции с помощью NVCC и запуску примеров, что упрощает изучение и практическое применение технологий.

Чем полезен для специалистов:
• Это отличный ресурс для изучения принципов работы GPU и оптимизации вычислительных задач.
• Примеры помогут разобраться в особенностях параллельного программирования и эффективного использования вычислительных ресурсов NVIDIA.
• Подходит как для новичков, так и для опытных разработчиков, желающих улучшить навыки в области высокопроизводительных вычислений.

Репозиторий станет незаменимым помощником для тех, кто хочет погрузиться в мир CUDA и освоить передовые методы ускорения вычислений на графических процессорах.

git clone https://github.com/Maharshi-Pandya/cudacodes.git

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🔥2
✔️ Native Sparse Attention - революция в механизмах внимания от Deepseek.

NSA (Natively Sparse Attention) — новый механизм внимания, предложенный на заменуFull Attention, который значительно ускоряет обработку длинных последовательностей текста без потери качества модели.
NSA использует динамическую иерархическую стратегию, которая сочетает сжатие токенов на грубом уровне с точным отбором ключевых токенов. Это позволяет сохранить глобальное понимание контекста и локальную точность. NSA поддерживает сквозное обучение, совместим с GQA и MQA, что делает его пригодным не только для инференса, но и для обучения.
Модели, обученные с использованием NSA показали 9х ускорение при прямом распространении и 6х при обратном для последовательностей длиной 64к токенов относительно Full Attention. В декодировании - 11х.

arxiv.org

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍147🔥3