Анализ данных (Data analysis)
46.3K subscribers
2.29K photos
264 videos
1 file
2.03K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🖥 GPU Puzzles

Набор интерактивных упражнений («паззлов») для обучения программированию под GPU с использованием CUDA.

Это целая серия задач, где требуется написать небольшие CUDA-ядра (ядра GPU), реализующие операции вроде сложения с константой (map), поэлементного суммирования (zip), работы с блоками и потоками, свёртки, матричного умножения и других параллельных алгоритмов.

Основная цель репозитория – дать начинающим возможность непосредственно попрактиковаться в программировании под GPU, без необходимости погружаться в сложную документацию.

Для удобства рекомендуется запускать задания в Google Colab с включённым режимом GPU.

Репозиторий лицензирован по MIT, имеет высокую популярность (более 10 тыс звёзд) и является частью серии обучающих проектов (наряду с Tensor Puzzles, Autodiff Puzzles, Triton Puzzles и другими).

А здесь реализация задач на C++

Github
Colab

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥76
🔍 Spark-TTS — свежий проект для синтеза речи, использующей большие языковые модели (LLM).

Проект обеспечивает высококачественную генерацию аудио с поддержкой zero-shot клонирования голоса, двуязычной (английский и китайский) синтезацией и управляемой генерацией речи, что делает его пригодным как для исследований, так и для коммерческого применения.

https://github.com/SparkAudio/Spark-TTS
9🔥6👍4🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 NocoDB — это база данных без кода (no-code database) с открытым исходным кодом, превращающая любую реляционную базу данных (MySQL, PostgreSQL, SQLite, MSSQL и др.) в гибкую таблицу, аналогичную Airtable!

🌟 Она позволяет пользователям управлять данными с помощью удобного веб-интерфейса, создавать REST API, настраивать представления (таблицы, календари, канбан-доски) и интегрироваться с внешними сервисами.

🔐 Лицензия: AGPL-3.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍95🥴1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 TransPixar — новая нейросеть, способная генерировать видео с прозрачным фоном. Это идеально для создания спрайтов в видеоиграх!

🔗 Демо: *клик*
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍147🔥5🥰1
⚡️ Napkin AI — инновационный сервис, который превращает обычный текст в наглядные визуальные схемы, диаграммы и инфографику, облегчая процесс представления сложной информации.

• Автоматическая генерация визуализаций:
  • Просто вставьте текст, и Napkin AI предложит несколько вариантов визуального представления, которые можно адаптировать под ваши нужды.

• Интуитивно понятный интерфейс:
  • Легкая настройка цветов, иконок и шрифтов обеспечивает гибкость в дизайне.

• Экспорт в разные форматы:
  • Готовые визуализации можно сохранить в PNG, SVG или PDF для использования в презентациях, статьях или социальных сетях.

• Преимущества для разработчиков:
  • Ускорение создания документации: Диаграммы и схемы для технической документации создаются быстрее и проще.
  • Улучшение командной коммуникации: Визуальные схемы помогают лучше объяснять сложные концепции и процессы коллегам.
  • Повышение качества презентаций: Автоматически сгенерированные инфографики делают ваши выступления более наглядными и профессиональными.

Napkin AI находится в стадии бета-тестирования и доступен бесплатно. Это отличная возможность опробовать сервис и интегрировать его в свой рабочий процесс.

Попробовать

@data_analysis_ml
👍206🔥4
🔥 llm-scraper — библиотека на языке TypeScript, предназначенная для извлечения структурированных данных с веб-страниц с использованием LLM!

🌟 Библиотека поддерживает различные провайдеры LLM, включая локальные модели (Ollama, GGUF), OpenAI и Vercel AI SDK. Для определения схем данных используется библиотека Zod, обеспечивая полную типизацию в TypeScript. В основе работы llm-scraper лежит фреймворк Playwright, который управляет взаимодействием с веб-страницами.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14👍65
✔️ OpenAI презентовала новые инструменты для разработчиков.

OpenAI анонсировала 3 новых инструмента для разработчиков, поддерживаемых в API и доступных через новый SDK. Среди новинок – WebSearch Tool, основанный на дообученной модели GPT-4o/GPT-4o-mini, для поиска информации в интернете. FileSearch Tool - инструмент поиска по документам с возможностью фильтрации по тегам, аналогично функциональности в Ассистентах. Третий - Computer Use (Operator), использующий ту же GPT-4o, предоставляющий доступ к локальному компьютеру пользователя.

Опубликованы и тарифы:
Computer Use немного дороже обычной GPT-4o — 3 доллара за вход и 12 долларов за выход на миллион токенов; как формировать контекст, какие скриншоты и текст закидывать — остается на ваше усмотрение.
Поиск по файлам оценивается в $2.5 за 1000 запросов и $0.1 за каждый гигабайт загруженных файлов.
Стоимость поиска зависит от настройки «длина контекста» (вероятно, от того, сколько ссылок из поисковой выдачи попадут в контекст); для старшей модели цена составляет $30–$50 за тысячу вызовов.

📌 Github
📌 OpenAI на Youtube

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍133🔥3🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ GPUStack — это менеджер кластеров GPU с открытым исходным кодом для запуска и масштабирования AI моделей.

Универсальность: Поддерживает работу на разных платформах, включая macOS, Windows и Linux.
Масштабируемость: Позволяет легко добавлять дополнительные GPU или узлы для увеличения вычислительных мощностей.
Широкий спектр моделей: Поддерживает запуск больших языковых моделей (LLM), диффузионных моделей, аудио-, embedding и reranker моделей.
Несколько бекендов: Использует такие решения, как llama-box, vLLM и vox-box для инференса.
OpenAI-совместимые API: Предоставляет API, совместимые с OpenAI, что облегчает интеграцию с различными приложениями и сервисами.
Мониторинг и управление: Включает инструменты для отслеживания производительности GPU, использования токенов и управления пользователями и API-ключами.

https://github.com/gpustack/gpustack

@data_analysis_ml
👍86
Агентство NEWHR опубликовало результаты исследования рынка аналитиков. 1293 респондента разных уровней рассказали, где работают, к чему стремятся и сколько получают. Коротко о главном:

⚫️ Лучшей компанией для работы является Авито (37,2%). Она же стала абсолютным лидером из наиболее известных российских компаний (42,1%).
⚫️ Большинство русскоязычных аналитиков работают в российских компаниях — 75,9%.
⚫️ За 2024 год у 44,9% опрошенных зарплаты выросли на 10-30%.
⚫️ 46% стали более лояльны к своему работодателю.

@data_analysis_ml
5🔥1
⚡️ Computer Using Agent Sample App – это демонстрационное приложение для создания системы «Computer Using Agent» (CUA) с использованием OpenAI API.

Основные особенности
и интересные моменты проекта:

- Прототип CUA: Приложение показывает, как можно интегрировать ИИ-модель для управления интерфейсом компьютера. Модель анализирует скриншоты и предлагает действия (например, клики, ввод текста), которые необходимо выполнить в среде пользователя.
- Модульная архитектура: Проект разделён на две ключевые абстракции – «Computer» для выполнения действий (например, локальный браузер через Playwright, Docker-окружение, удалённые браузерные среды) и «Agent» для взаимодействия с моделью.
Многообразие сред: В репозитории реализованы различные среды (LocalPlaywright, Docker, Browserbase, Scrapybara), что позволяет протестировать приложение в разных условиях.

- Примеры использования: В проекте есть CLI для удобного старта, а также примеры (например, файл simple_cua_loop.py) для демонстрации базового цикла работы CUA.
Безопасность: Присутствуют базовые меры безопасности, в том числе проверки URL и запрос подтверждения действий, что важно при управлении реальными интерфейсами.

📌 Github

@data_analysis_ml
👍86🔥2
⚡️ Vondy: огромная базу ИИ-агентов для различных задач!

В Vondy можно подобрать нейроассистентов, которые возьмут на себя рутинную работу и сэкономят часы, чтобы вы могли уделить время отдыху, хобби или развлечениям.

Агенты для любых задач: от кодинга, написания текста, дизайна и бизнеса до повышения продуктивности и генерации изображений, звуков и видео.
Создайте своего агента: сервис предоставляет все необходимые инструменты, чтобы настроить помощника именно под ваши нужды.
Бесплатно.

https://www.vondy.com/

@data_analysis_ml
👍174🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Copy any UI

Клонирование любого сайта одним кликом стало возможным благодаря новому ИИ-агенту Same.dev! Этот инструмент способен создать практически точную копию веб-сайта всего лишь по ссылке.

Все, что вам нужно сделать, — это вставить URL интересующего ресурса и немного подождать. Same.dev автоматически проанализирует исходный код и предоставит готовую копию, которую сложно отличить от оригинала.

Причем это абсолютно бесплатно: https://same.dev/
19👍13🔥8
⚡️All-atom Diffusion Transformer (ADiT) — это новая разработка в области генеративного моделирования химических систем

. ADiT представляет собой унифицированную латентную диффузионную модель, способную генерировать как периодические материалы, так и непериодические молекулярные структуры
ARXIV.ORG

Ключевые особенности проекта:

Унифицированный подход: ADiT использует единое представление для молекул и материалов, что позволяет эффективно работать с различными химическими системами
ARXIV.ORG

Диффузионная модель: В основе генерации новых структур лежит диффузионная модель, обученная создавать новые латентные представления, которые затем декодируются в валидные молекулы или материалы
ARXIV.ORG

Автоэнкодер: Система включает автоэнкодер, который отображает атомарные представления молекул и материалов в общее латентное пространство, обеспечивая эффективное кодирование и декодирование
ARXIV.ORG

📌 Github

@data_analysis_ml
👍73🔥2
📹 ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

ReCamMaster: генеративный рендеринг с функциями управлением камерой 🔥

Еще один хит в области генерации видео из Китая

Позволяет создавать реалистичные новые сцены из одного видео, что позволяет «переснимать» видео с новыми движениями камеры.

Код обещают очень скоро,

🟡Github: https://github.com/KwaiVGI/ReCamMaster
🟡Paper: https://arxiv.org/abs/2503.11647
🟡Project: https://jianhongbai.github.io/ReCamMaster/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥64👍3