Анализ данных (Data analysis)
46.3K subscribers
2.31K photos
264 videos
1 file
2.04K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Google неожиданно представил нового ИИ-ассистента для Data Science, позволяющего за считанные минуты создавать полноценные рабочие блокноты.

Теперь весь процесс – от загрузки датасета до итогового анализа – берёт на себя нейросеть.

Агент самостоятельно генерирует код на Python, создаёт блокноты, визуализирует данные и шаг за шагом предлагает оптимальное решение.

Достаточно загрузить набор данных объемом до 1 Гб, и ИИ выполнит всю работу.

В итоге вы получаете готовый проект с кодом и графиками, без утомительной рутины и постоянной отладки.

📌 Попробовать можно здесь

@data_analysis_ml
25🔥11👍6👌4🥰3😁1🤨1
🧠 Это происходит: человек и машина сливаются.

Австралийская компания Cortical Labs представила первый в мире биологический компьютер, объединяющий клетки человеческого мозга с кремниевыми чипами.

Эта система, известная как синтетический биологический интеллект ( SBI) , позволяет формировать динамические нейронные сети, которые обучаются быстрее и более гибко, чем традиционные системы искусственного интеллекта.

Официальная презентация CL1 состоялась в Барселоне 2 марта 2025 года. Ожидается, что он поступит в продажу во второй половине 2025 года.

Технология основана на предыдущем исследовании, в ходе которого 800 000 человеческих и нейроно мышей на чипе были обучены игре в видеоигру Pong.

Теперь CL1 предоставляет платформу, которая позволяет исследователям использовать эту технологию без специализированного оборудования или программного обеспечения. Клиенты могут либо приобрести CL1, либо получить к нему доступ через Cortical Cloud для работы с культивируемыми клетками.

Потенциальные области применения CL1 варьируются от исследований лекарственных препаратов и клинических испытаний до разработки интеллектуальной робототехники.

Система энергоэффективна и не требует внешнего компьютера для управления. Разработчики подчеркивают, что SBI более естественна, чем обычный ИИ, поскольку основана на биологических нейронах, которые также являются основой человеческого интеллекта.

Появление CL1 знаменует собой значительный прогресс в слиянии биологии и технологий и может иметь далеко идущие последствия для различных областей науки и медицины.

Это происходит: человек и машина сливаются. Курцвейл был прав!

Австралийская компания Cortical Labs представила первый в мире биологический компьютер, объединяющий клетки человеческого мозга с кремниевым оборудованием.

Эта система, известная как синтетический биологический интеллект ( SBI) , позволяет формировать динамические нейронные сети, которые обучаются быстрее и более гибко, чем традиционные системы искусственного интеллекта.

Официальная презентация CL1 состоялась в Барселоне 2 марта 2025 года. Ожидается, что он поступит в продажу во второй половине 2025 года.

Технология основана на предыдущем исследовании, в ходе которого 800 000 человеческих и мышиных нейронов на чипе были обучены игре в видеоигру Pong.

Теперь CL1 предоставляет платформу, которая позволяет исследователям использовать эту технологию без специализированного оборудования или программного обеспечения. Клиенты могут либо приобрести CL1, либо получить к нему доступ через Cortical Cloud для работы с культивируемыми клетками.

Потенциальные области применения CL1 варьируются от исследований лекарственных препаратов и клинических испытаний до разработки интеллектуальной робототехники.

Система энергоэффективна и не требует внешнего компьютера для управления. Разработчики подчеркивают, что SBI более естественна, чем обычный ИИ, поскольку основана на биологических нейронах, которые также являются основой человеческого интеллекта.

Появление CL1 знаменует собой значительный прогресс в слиянии биологии и технологий и может иметь далеко идущие последствия для различных областей науки и медицины.

https://newatlas.com/brain/cortical-bioengineered-intelligence/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16😱84🤔2🔥1
Forwarded from Machinelearning
📌 PyTorch: новые инструменты для для экономии памяти при обучении моделей.

PyTorch представил усовершенствованные методы Activation Checkpointing (AC), цель которых - снижение потребления памяти при обучении.

Традиционный подход в eager mode сохраняет промежуточные активации для обратного прохода, что зачастую приводит к значительному расходу ресурсов. AC позволяет не сохранять эти тензоры, а вычислять их заново при необходимости, тем самым жертвуя вычислительным временем ради экономии памяти.

Новая техника – Selective Activation Checkpoint (SAC). В отличие от обычного AC, который затрагивает всю выбранную область, SAC дает гранулярный контроль над тем, какие операции следует пересчитывать, а какие – сохранять. Это достигается за счет использования policy_fn, определяющей, нужно ли сохранять результаты конкретной операции. SAC будет полезен для избегания перевычисления ресурсоемких операций, например, матричных умножений.

Для torch.compile стала доступна Memory Budget API. Эта функция автоматически применяет SAC с оптимальной политикой, исходя из заданного пользователем бюджета памяти (от 0 до 1). Бюджет 0 соответствует обычному AC, а 1 – поведению torch.compile по умолчанию.

🔜 Читать подробную статью в блоге Pytorch


@ai_machinelearning_big_data

#AI #ML #Pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
7🔥6👍3
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ HF: Spark-TTS, модель преобразования текста в речь на базе LLM, которая выполняет клонирование голоса с нуля и создание голоса с высокой детализацией — все в одном потоке!

> Сделана на Qwen2.5
> Управляйте частотой тона, скоростью и стилем диктора непосредственно из текста.

Попробовать можно здесь: https://huggingface.co/spaces/Mobvoi/Offical-Spark-TTS
Paper: https://arxiv.org/pdf/2503.01710
Code: https://github.com/SparkAudio/Spark-TTS
Demo: https://sparkaudio.github.io/spark-tts/
👍85🔥2💔1
🗼Многоязычный LLM с поддержкой 25 языков, выпущенный командой Alibaba DAMO

9B/83B
Поддерживает 25 языков: Английский, китайский, хинди, испанский, арабский, французский, бенгальский, португальский, русский, урду, индонезийский, немецкий, японский, суахили, филиппинский, тамильский, вьетнамский, турецкий, итальянский, яванский, корейский, хауса, персидский, тайский и бирманский.

Модель
: https://huggingface.co/collections/Tower-Babel/babel-67c172157372d4d6c4b4c6d5
Paper: https://huggingface.co/papers/2503.00865

@data_analysis_ml
👍147🔥2
🎵 DiffRhythm - полноценныйгенератор песен всего за несколько секунд!

DiffRhythm‑base — базовая модель из коллекции DiffRhythm от ASLP‑lab на Hugging Face.

Проект интересен тем, что применяет современные диффузионные алгоритмы для генерации и анализа ритмических структур, что открывает новые возможности в области музыкального творчества и аудиоанализа.

Модель: https://huggingface.co/ASLP-lab/DiffRhythm-base
Демо: https://huggingface.co/spaces/ASLP-lab/DiffRhythm
Статья: https://huggingface.co/papers/2503.01183
11👍4🔥2🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 OpenAi добавили новую страницу сравнения всех своих моделей в документацию— теперь вы можете легко увидеть разбивку возможностей каждой модели и сравнить все модели между собой.

https://platform.openai.com/docs/models


@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1811🔥4😁4
Подборка полезных ИИ- каналов для обучения

🎓 1) Andrej Karpathy
Глубокие, но доступные лекции по глубокому обучению, языковым моделям и введению в нейронные сети.
Ссылка: https://www.youtube.com/c/AndrejKarpathy

📊 2) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.
Ссылка: https://www.youtube.com/c/3blue1brown

🎙️ 3) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.
Ссылка: https://www.youtube.com/c/LexFridman

🤖 4) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка: https://www.youtube.com/c/MachineLearningStreetTalk

💼 5) Uproger
Множество полных кусрсов, уроков с уклоном на практику
https://www.youtube.com/@uproger

🍉 6) Serrano Academy (Luis Serrano)
Ясный и доступный контент о машинном обучении, глубоких нейронных сетях и последних достижениях в ИИ.
Ссылка: https://www.youtube.com/c/LuisSerrano

💻 7) Jeremy Howard
Практические курсы по глубокому обучению и обучающие видео по созданию AI-приложений, основанные на опыте Fast.ai.
Ссылка: https://www.youtube.com/c/Fastai

🛠️ 8) Hamel Husain
Практические уроки по работе с языковыми моделями (LLMs), RAG, тонкой настройке моделей и оценке ИИ.
Ссылка: https://www.youtube.com/c/HamelHusain

🚀 9) Jason Liu
Экспертные лекции по RAG и советы по фрилансу в области ИИ для специалистов по машинному обучению.
Ссылка: https://www.youtube.com/c/JasonLiu

⚙️ 10) Dave Ebbelaar
Практические руководства по созданию ИИ-систем и применению технологий в реальных проектах.
Ссылка: https://www.youtube.com/c/DaveEbbelaar

📚 11) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.
Ссылка: https://www.youtube.com/c/statquest

Эти каналы предлагают разнообразный и качественный контент для всех, кто хочет углубиться в изучение искусственного интеллекта. Независимо от вашего уровня подготовки, здесь каждый найдёт что-то полезное для себя!

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2814🔥5🥰2
🖥 GPU Puzzles

Набор интерактивных упражнений («паззлов») для обучения программированию под GPU с использованием CUDA.

Это целая серия задач, где требуется написать небольшие CUDA-ядра (ядра GPU), реализующие операции вроде сложения с константой (map), поэлементного суммирования (zip), работы с блоками и потоками, свёртки, матричного умножения и других параллельных алгоритмов.

Основная цель репозитория – дать начинающим возможность непосредственно попрактиковаться в программировании под GPU, без необходимости погружаться в сложную документацию.

Для удобства рекомендуется запускать задания в Google Colab с включённым режимом GPU.

Репозиторий лицензирован по MIT, имеет высокую популярность (более 10 тыс звёзд) и является частью серии обучающих проектов (наряду с Tensor Puzzles, Autodiff Puzzles, Triton Puzzles и другими).

А здесь реализация задач на C++

Github
Colab

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥76
🔍 Spark-TTS — свежий проект для синтеза речи, использующей большие языковые модели (LLM).

Проект обеспечивает высококачественную генерацию аудио с поддержкой zero-shot клонирования голоса, двуязычной (английский и китайский) синтезацией и управляемой генерацией речи, что делает его пригодным как для исследований, так и для коммерческого применения.

https://github.com/SparkAudio/Spark-TTS
9🔥6👍4🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 NocoDB — это база данных без кода (no-code database) с открытым исходным кодом, превращающая любую реляционную базу данных (MySQL, PostgreSQL, SQLite, MSSQL и др.) в гибкую таблицу, аналогичную Airtable!

🌟 Она позволяет пользователям управлять данными с помощью удобного веб-интерфейса, создавать REST API, настраивать представления (таблицы, календари, канбан-доски) и интегрироваться с внешними сервисами.

🔐 Лицензия: AGPL-3.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍95🥴1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 TransPixar — новая нейросеть, способная генерировать видео с прозрачным фоном. Это идеально для создания спрайтов в видеоиграх!

🔗 Демо: *клик*
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍147🔥5🥰1
⚡️ Napkin AI — инновационный сервис, который превращает обычный текст в наглядные визуальные схемы, диаграммы и инфографику, облегчая процесс представления сложной информации.

• Автоматическая генерация визуализаций:
  • Просто вставьте текст, и Napkin AI предложит несколько вариантов визуального представления, которые можно адаптировать под ваши нужды.

• Интуитивно понятный интерфейс:
  • Легкая настройка цветов, иконок и шрифтов обеспечивает гибкость в дизайне.

• Экспорт в разные форматы:
  • Готовые визуализации можно сохранить в PNG, SVG или PDF для использования в презентациях, статьях или социальных сетях.

• Преимущества для разработчиков:
  • Ускорение создания документации: Диаграммы и схемы для технической документации создаются быстрее и проще.
  • Улучшение командной коммуникации: Визуальные схемы помогают лучше объяснять сложные концепции и процессы коллегам.
  • Повышение качества презентаций: Автоматически сгенерированные инфографики делают ваши выступления более наглядными и профессиональными.

Napkin AI находится в стадии бета-тестирования и доступен бесплатно. Это отличная возможность опробовать сервис и интегрировать его в свой рабочий процесс.

Попробовать

@data_analysis_ml
👍206🔥4
🔥 llm-scraper — библиотека на языке TypeScript, предназначенная для извлечения структурированных данных с веб-страниц с использованием LLM!

🌟 Библиотека поддерживает различные провайдеры LLM, включая локальные модели (Ollama, GGUF), OpenAI и Vercel AI SDK. Для определения схем данных используется библиотека Zod, обеспечивая полную типизацию в TypeScript. В основе работы llm-scraper лежит фреймворк Playwright, который управляет взаимодействием с веб-страницами.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14👍65