Шпаргалка SQL → Pandas

— выбрать один столбец или несколько из них;
— фильтрация;
— выбор уникальных значений по столбцу;
— подсчет числа значений;
— перечисление названий столбцов и т.д.

🎼Датасеты для генерации и анализа музыки

• MAESTRO
MAESTRO (MIDI and Audio Edited for Synchronous Tracks and Organisation) содержит более 200 часов аннотированных записей международных конкурсов пианистов за последние десять лет.

• NSynth
Этот датасет состоит из 305 979 музыкальных нот и включает записи 1006 различных инструментов, таких как флейта, гитара, фортепиано и орган. Датасет аннотирован по типу инструмента (акустический, электронный или синтетический) и другим звуковым параметрам.

• Lakh MIDI v0.1
В датасете имеется 176,581 MIDI-файл, из которых 45,129 связаны с образцами из Million Song Dataset. Данный датасет разработан для упрощения поиска музыкальной информации на основе текста и аудио контента в большом масштабе.

• URMP
URMP - это набор данных, который используется для анализа музыкальных выступлений. В нем содержатся различные музыкальные композиции, в которых присутствуют различные инструменты. Эти композиции созданы из отдельных записей исполнений каждого трека.

• Music21
Music21 содержит музыкальные выступления из 21 категории и нацелен на решение исследовательских задач (например, поиска ответа на вопрос :»Какая группа использовала данные аккорды впервые?»)

bigdatai

Невероятные шедевры, созданные с помощью Matplotlib

Неважно, как сильно вы пытаетесь быть хорошим в чём-то, всегда найдутся другие люди, делающие это намного лучше. Таким примерам нечего завидовать, ими нужно вдохновляться.

Показательный пример: эти семь шедевров Matplotlib. Я собрал их из блокнотов Kaggle с золотыми медалями, которые привлекли внимание тысяч людей.

Matplotlib — одна из самых мощных библиотек в Python, и если вы отдадите её гению с творческим подходом, вы получите интересный результат.

▪ Читать

bigdatai

📌 Очередная подборка интересных датасетов.

Quandl Data Portal — хранилище экономических и финансовых данных (есть бесплатный и платный контент).

The World Bank Open Data Portal — информация о займах, выданных Всемирным банком развивающимся странам.

IMF Data Portal — портал международного валютного фонда, который публикует данные о международных финансах, ставках долга, инвестициях, валютных резервах и товарах.

American Economic Association (AEA) Data Portal — ресурс для поиска макроэкономических данных США.

Google Trends Data Portal — данные о тенденциях Google можно использовать для визуального изучения и анализа данных.

Financial Times Market Data Portal — ресурс для получения актуальной информации о финансовых рынках со всего мира.

Data.gov Portal — портал открытых данных правительства США (сельское хозяйство, здравоохранение, климат, образование, энергетика, финансы, наука и исследования и т.д.).

Data Portal: Open government data (India) — открытая правительственная платформа данных Индии.

Food environment Atlas Data Portal — содержит данные исследований о питании в США.

Health Data Portal — это портал Министерства здравоохранения и социальных служб США.

Centers for Disease Control and Prevention Data Portal — содержит широкий спектр данных, связанных со здоровьем.

London Datastore Portal — данные о жизни людей в Лондоне.

Canada Government Open Data Portal — портал открытых данных о канадцах (сельское хозяйство, искусство, музыка, образование, правительство, здравоохранение и т.д.)

bigdatai

Создание инфографики с помощью Matplotlib

Создание захватывающих и привлекательных визуализаций данных имеет важное значение для работы с данными и для того, чтобы быть специалистом по Data Science. Это позволяет нам предоставлять читателям информацию в сжатой форме, которая помогает понимать данные без необходимости просмотра необработанных значений. Кроме того, мы можем использовать диаграммы и графики, чтобы рассказать увлекательную и интересную историю, отвечающую на один или несколько вопросов о данных.

В мире Python существует множество библиотек, которые позволяют специалистам по данным создавать визуализации, и одна из первых, с которой многие сталкиваются, начиная свое путешествие по Data Science — это matplotlib.

В этой статье мы рассмотрим создание инфографики с помощью matplotlib.

Читать

bigdatai

📽 Проект Data Science по прогнозированию рейтинга фильмов Rotten Tomatoes

Предсказание рейтингов фильма на основе настроения рецензий.

В ходе нашего исследования мы обсудим предварительную обработку данных, различные классификаторы и возможные методы улучшения для повышения эффективности наших моделей.

К концу этой статьи вы получите представление о том, как машинное обучение может быть использовано для прогнозирования успеха фильмов и как эти знания могут быть применены в индустрии развлечений.

▪ Читать дальше

bigdatai

Два продвинутых SQL-метода, которые могут значительно улучшить ваши запросы

SQL — это основа для каждого специалиста по работе с данными. Неважно, являетесь ли вы аналитиком данных, специалистом по данным или инженером по обработке данных, вам необходимо иметь четкое представление о том, как писать чистые и эффективные SQL-запросы.

Это связано с тем, что за любым тщательным анализом данных или любой сложной моделью машинного обучения стоят базовые данные, и эти данные должны откуда-то поступать.

Cегодня мы рассмотрим две новые техники SQL, которые вы можете добавить в свой набор инструментов, чтобы вывести ваши запросы на новый уровень. Эти методы называются Обобщённое табличное выражение (CTE) и Оконные функции.

Читать

🦙 LONGLLaMA: языковая модель, для обработки длинных контекстов из 256 000 токенов

Новый метод Focused Transformer (FOT) позволяет дообучать большие языковые модели для расширения эффективного понимания контекста.

Для демонстрации метода исследователи дообучиили open source модели OpenLLaMA 3B и 7B, результирующая модель LONGLLAMA показала прогресс в точности в задачах, требующих понимания длинного контекста. Модель LONGLLAMA-3B достигла точности 94,5% при 100 тысячах токенов и 73% при 256 тысячах токенов, в то время как базовая модель OpenLLAMA не способна обрабатывать контексты, превышающие ее длину обучения в 2 тысячи токенов.

•Код
•Colab

bigdatai

🚀 Podman Desktop

Графический интерфейс для создания, запуска и управления контейнерами Kubernetes.

Удобный интсрумент, который позволяет создавать, запускать, тестировать и публиковать микросервисы и приложения, разрабатываемые для систем контейнерной изоляции.

▪ Github

bigdatai

Собрание бесплатных курсов по Python и машинному обучению.

1. Основы Python для анализа данных — программирование на Python.

2. Ускоренный курс по машинному обучению — видеолекции от исследователей Google.

3. Основы R — как обрабатывать, анализировать и визуализировать данные.

4. Введение в Data Science и аналитику — основы Data Science и Data Science Life Cycle.

5. Линейная регрессия — как применять R для осуществления линейной регрессии.

6. Визуализация — принципы визуализации данных и применение ggplot2.

7. Введение CS50 в программирование на Python, май 2023 г.

8. Python для всех: Getting Started with Python от Coursera, этот курс для начинающих знакомит с программированием на Python через пошаговые учебные пособия и практические упражнения. Курс ведет известный преподаватель доктор Чарльз Северанс.

🆓 10 лучших бесплатных курсов Udacity для мл специалистов.

1. Machine Learning by Georgia Tech
Отличный курс по машинному обучению для начинающих.

2. Introduction to Machine Learning Course
Udacity научит вас основам и тому, как использовать машинное обучение для решения реальных задач.

3. Intro to Artificial Intelligence
Узнайте об интеллектуальных агентах, алгоритмах поиска и игровых программах. Вы словно окажетесь в научно-фантастическом фильме!

4. Artificial Intelligence for Robotics
Вы узнаете, как роботыпринимают решения, понимают, где они находятся и как передвигаются.

5. What is Programming?
Познакомит вас с популярными языками программирования, переменными, циклами и условиями.

6. Intro to HTML and CSS
Никакого опыта не требуется! Вы изучите основы веб-разработки и сможете создавать классные вещи в Интернете!

7. Introduction to Computer Vision
Компьютерное зрение подобно волшебству - оно позволяет компьютерам понимать изображения и видео. Узнайте об обработке изображений, распознавании объектов и многом другом!

8. Intro to Data Science
Наука о данных - это поиск скрытых закономерностей в данных. Исследуйте данные и принимайте разумные решения как эксперт в области данных!

9. SQL for Data Analysis
Анализ данных может быть интересным с помощью SQL. Станьте мастером данных с помощью этого важного навыка!

10. Data Wrangling with MongoDB
Узнайте, как организовать и преобразовать данные как профессионал с помощью MongoDB.

bigdatai