​​В открытом доступе опубликован RedPajama – датасет текстов, содержащий более 1,2 трлн токенов. Датасет собран коллаборацией из нескольких университетов и организаций для создания общедоступных больших языковых моделей.

#Datasets

https://neurohive.io/ru/datasety/redpajama-obshhedostupnyj-dataset-dlya-obucheniya-bolshih-yazykovyh-modelej/

@bigdatai

Observable — платформа визуализации данных

Observable это удобная платформа для создания интерактивных диаграмм и графиков, анализа данных и быстрого прототипирования визуализаций

Инструмент идеально подходит для аналитиков, разработчиков и дизайнеров

Дополнительно Observable предлагает встроенные инструменты для обмена знаниями и работой над проектами в команде. Возможность организовать свои ноутбуки в коллекции упрощает навигацию и поиск нужной информации

Стоимость: #бесплатно (но есть платные тарифы)

#визуализация #аналитика

@bigdatai

⚛ Academic Torrents

Academic Torrents - это новый сайт, предназначенный для обмена датасетами из научных работ. Это новый сайт, поэтому трудно сказать, как будут выглядеть наиболее распространённые типы наборов данных. В настоящий момент, на нём есть множество интересных датасетов, которым не хватает контекста.

Вы можете просматривать наборы данных непосредственно на сайте. Поскольку это торрент-сайт, все наборы данных можно сразу загрузить, но тогда вам понадобится клиент Bittorrent. Deluge - хороший бесплатный вариант.

▪Просмотр наборов данных Academic Torrents

Вот несколько примеров:

▪Enron Emails — набор из множества электронных писем от руководителей Enron, компании, которая, как известно, обанкротилась.
▪Student Learning Factors — набор факторов, которые измеряют обучение студентов и влияют на него.
▪News Articles — содержит атрибуты новостной статьи.

@bigdatai

⚡️ Quandl

Quandl – это хранилище экономических и финансовых данных. Часть этой информации бесплатна, но многие датасеты необходимо приобрести. Quandl полезен для построения моделей для прогнозирования экономических показателей или цен на акции. Благодаря большому количеству доступных наборов данных можно построить сложную модель, которая использует множество наборов данных для прогнозирования значений в другом датасете.

Просмотр наборов данных Quandl.

Вот несколько примеров:

▪Entrepreneurial Activity By Race and Other Factors — содержит данные фонда Кауфмана о предпринимателях в США.
▪US Federal Reserve Data — экономические показатели США, от Федеральной резервной системы.

@bigdatai

Benthos — мощный сервер обработки потоков данных

Он отлично подойдёт для интеграции, трансформации и маршрутизации данных в различных форматах и системах. Решение идеально для разработчиков, инженеров данных и DevOps.

Из «фишек» инструмента можно отметить его модульную архитектуру, позволяющую легко настраивать и масштабировать систему

Помимо этого, Benthos предлагает широкий выбор встроенных компонентов и поддержку плагинов для покрытия различных потребностей пользователей

Стоимость: #бесплатно

@bigdatai

Segment — универсальная платформа для анализа данных

С её помощью можно собирать, хранить и анализировать данные о клиентах. Инструмент особенно полезен для маркетологов, аналитиков и команд разработки, которые хотят лучше понять поведение своих пользователей

Основные преимущества Segment включают в себя удобство сбора данных с различных платформ и их централизацию в одном месте, а также гибкость интеграции с множеством других инструментов аналитики и маркетинга

Стоимость: #бесплатно (но есть платные тарифы)

#анализ_данных #web

@bigdatai

Metabase — бесплатный инструмент для анализа данных без лишних сложностей

Инструмент очень простой и интуитивный. Вы можете запустить его и начать создавать дашборды всего за несколько минут, без необходимости обучения или написания кода

В отличие от многих других инструментов анализа данных, Metabase не требует от вас знаний в области SQL или других языков запросов

Более того, с его помощью можно создавать достаточно сложные запросы при помощи простого drag-and-drop интерфейса

https://www.metabase.com/

@bigdatai

Полезные шпаргалки от Стэнфорда.

Здесь собраны обзоры алгоритмов и моделей МО. Наглядный и удобный формат.

CS 221 ― Artificial Intelligence
CS 229 ― Machine Learning
CS 230 ― Deep Learning

@bigdatai

Что такое большие данные: комплексный обзор

Данные генерируются с беспрецедентной скоростью. Ежедневно создается более 2,5 квинтиллиона байт данных, причем объем генерируемых данных растет в геометрической прогрессии. Этот взрывной рост данных привел к появлению такого понятия, как “большие данные” (“Big Data”).

Но что же такое большие данные? Почему они важны? Как они влияют на современный бизнес? Ответы на эти вопросы ищите в нашем комплексном обзоре больших данных.

▪ Читать

@bigdatai

🔥 RATH: Autopilot for exploratory data analysis

Полезный инструмент для анализа и визуализации данных

RATH автоматизирует ваш рабочий процесс исследовательского анализа данных с помощью мощного аналитического движка

Инструмент находит закономерности, инсайты и причинно-следственные связи в данных, представляя их в многомерных визуализациях

При этом он также RATH работает в качестве «помощника», изучая ваши намерения и предлагая соответствующие рекомендации. Облегчает процесс возможность задавать вопросы на естественном языке

Дополнительная информация об инструменте есть в материале на нашем сайта

#machine_learning #data #data_science

@bigdatai

📌 Подборка бесплатных курсов по аналитике и визуализации данных

▪Digital-аналитика — This is Data

▪Визуализация данных - Онлайн-школа ILYN

▪Microsoft Power BI — Microsoft Learn

▪Power Bi для интернет-маркетинга — NeedForData

▪Основы работы с DataLens — Яндекс Практикум

▪Google Data Studio (2022) — Яков Осипенков

▪Google Data Studio (2022) — Школа аналитики "Байкал"

@bigdatai

🔍 Microsoft Stocks from 1986 to 2023

Этот комплексный набор данных содержит подробный анализ динамики акций корпорации Microsoft с 1986 по 2023 год.

https://www.kaggle.com/datasets/bilalwaseer/microsoft-stocks-from-1986-to-2023

@bigdatai

6 no-code платформ машинного обучения

Как создать алгоритм, не разбираясь в ML.

#1. Google ML Kit

ML Kit — простая в управлении лаборатория SDK, которая позволяет внедрять МL на Android и iOS, независимо от опыта разработчиков в машинном обучении.

#2. Fritz AI

Fritz AI — end-to-end-решение для создания и обучения моделей, а также генерирования наборов данных без кода. Оно доступно на Windows, Linux, MacOS, а также мобильных ОС.

#3. DataRobot

#4. What-If tool

Это небольшой, но занимательный проект от PAIR (People + AI Research). WIT или What-If Tool — алгоритм в виде плагина для работы с регрессионными ML-моделями.

#5. Teachable Machine

Бесплатный инструмент от Google, запущенный в 2017 году. Он позволяет создавать ML-модели в браузере за пару минут.

#6. RapidMiner

Проект разделен на три части: веб-инструмент RapidMiner Go, программа для ПК RapidMiner Studio и образовательная грантовая программа RapidMiner Academy, которая сотрудничает с университетами.

@bigdatai

💉Медицинские датасеты для машинного обучения

Основная проблема данных здравоохранения заключается в их уязвимости. Они содержат конфиденциальную информацию, защищённую Health Insurance Portability and Accountability Act (HIPAA), и не могут использоваться без явно выраженного согласия. В сфере медицины чувствительные подробности называются защищаемой информацией о здоровье (protected health information, PHI).

Protected Health Information и идентификаторы HIPAA

Protected Health Information (PHI)

Анонимизация медицинских данных и удаление из них персональной информации

Подготовка датасетов для машинного обучения.

Разметка медицинских данных

Любые неструктурированные данные, будь то тексты, изображения или аудиофайлы, для обучения моделей машинного обучения требуют разметки или аннотирования. Это процесс добавления к блокам данных описательных элементов (меток или тэгов), чтобы компьютер мог понимать, что находится в изображении или тексте. Чтобы узнать об инструментах аннотирования и рекомендациях, прочитайте нашу статью о том, как организовать разметку данных.

Датасеты медицинских снимков

Изображения составляют подавляющее большинство (почти 90%) всех данных здравоохранения. Это даёт много возможностей по обучению алгоритмов computer vision для потребностей здравоохранения. Стоит заметить, что данные медицинских снимков в основном генерируются в отделах радиологии в виде рентгенограмм, сканов КТ и МРТ. Международным стандартом здравоохранения для хранения и передачи диагностических снимков является DICOM (Digital Imaging and Communication in Medicine).

The Cancer Imaging Archive (TCIA)

The Cancer Imaging Archive (TCIA), финансируемый Национальным институтом онкологии США (NCI) — это место хранения в открытом доступе радиологических и гистопатологических снимков, в основном в формате DICOM, представляющих 21 тип рака.

Национальная база данных снимков органов грудной клетки на Covid-19 (NCCID)

National Covid-19 Chest Imaging Database (NCCID)

Open Access Series of Imaging Studies (OASIS)

OASIS Brains

Скелетно-мышечные рентгенограммы (MURA)

MURA (Musculoskeletal Radiographs)

Датасеты клиник и больниц

Основная часть этих данных находится во внутренних системах учреждений здравоохранения, а именно в системах EHR (Electronic Health Record), системах управления медицинскими практиками, системах лабораторной информации, порталах для пациентов и других.

Medical Information Mart for Intensive Care (MIMIC)

MIMIC — это крупнейшая публичная коллекция очищенных от личных данных электронных медицинских карт (electronic health record, EHR), связанных с пациентами реанимационных отделений.

Healthcare Cost and Utilization Project (HCUP)

HCUP, которым управляет Agency for Healthcare Research and Quality (AHRQ), содержит базы данных США и отдельных штатов, которые можно использовать для выявления и исследования тенденций в доступности, использовании и результатах работы системы здравоохранения.

Данные поставщиков услуг Medicare

Medicare Provider Catalog собирает официальные данные центров услуг Medicare и Medicaid (CMS).
Данные можно просматривать в браузере, скачивать конкретные датасеты в формате CSV или подключать собственные приложения к веб-сайту при помощи API.

Лечебно-профилактические датасеты

Лечебно-профилактическими датасетами обычно управляют государственные органы и международные организации. Эти данные могут быть полезными при изучении трендов в здравоохранении, исследовании заболеваний для понимания и предотвращения эпидемий и для других задач.

Датасеты Global Health Observatory (GHO)

Global Health Observatory (GHO) — это коллекция Всемирной организации здравоохранения по статистике о здравоохранении в 194 её странах-участниках. Она содержит датасеты, структурированные на основе различных тем (например, здоровья несовершеннолетних, ВИЧ, туберкулёза, иммунизации, ментального здоровья, питания). Заинтересовавшие вас датасеты можно свободно скачать с веб-сайта, выбрав один из имеющихся форматов — таблицы CVS и Excel, файлы XML и JSON. Также всё содержимое доступно через Athena API, основанный на современной архитектуре REST.

Older Adults Health Data Collection

Older Adults Health Data Collection на Data.gov состоит из 96 датасетов, управляемых федеральным правительством США.

NCHHSTP AtlasPlus

NCHHSTP AtlasPlus предоставляет доступ к историческим данным за 20 лет по иммунодефициту человека (ВИЧ), вирусному гепатиту, заболеваниям, передаваемым половым путём, и туберкулёзу.

Исследовательские датасеты

Исследовательские датасеты предназначены для научного сообщества, фармакологических компаний, лабораторий и других организаций, участвующих в лечении и разработке лекарств. Они накапливают информацию из прошлых работ для дальнейшего развития медицинских исследований.

The Cancer Genome Atlas (TCGA)

The Cancer Genome Atlas (TCGA) — это важнейшая база данных геномики, охватывающая 33 типа заболеваний, в том числе 10 редких. TCGA был основан в 2006 году в результате совместной работы Национального института онкологии США и Национального института исследований генома человека (NHGRI).

Датасеты программы Surveillance, Epidemiology, and End Results (SEER)

Программа Surveillance, Epidemiology, and End Results (SEER) — самый надёжный источник онкологической статистики в США, предназначенный для снижения доли раковых заболеваний в популяции. Её база данных поддерживается Surveillance Research Program (SRP), которая является частью Division of Cancer Control and Population Sciences (DCCPS) Национального института онкологии.

Для анализа SEER и других баз данных, связанных с раком, можно использовать SEER Stat Software.

Датасеты клинических исследований Vivli

Vivli — это некоммерческая организация, координирующая, упрощающая и продвигающая научное исследование данных клинических исследований и обмен ими.

Где ещё можно найти медицинские датасеты

Например, data.world — облачный каталог данных, накопивший почти 3,5 тысяч связанных со здоровьем коллекций. Ещё одна стоящая внимания платформа — Papers With Code: в ней хранится 6 964 датасета для ML, и 244 из них относится к области медицины.
На Kaggle, который называют «Airbnb для data science», тоже есть кое-что интересное.

@bigdatai

🏯 Museums

Открытые датасеты крупных мировых музеев.

▪Canada Science and Technology Museums Corporation's Open Data [Meta]

▪Cooper-Hewitt's Collection Database [Meta]

▪Metropolitan Museum of Art Collection API [Meta]

▪Minneapolis Institute of Arts metadata [Meta]

▪Natural History Museum (London) Data Portal [Meta]

▪Rijksmuseum Historical Art Collection [Meta]

▪Tate Collection metadata [Meta]

▪The Getty vocabularies [Meta]

@bigdatai

🥇 Sports

Открытые спортивные датасеты.

▪American Ninja Warrior Obstacles - Contains every obstacle in the history of American Ninja [...]

▪Betfair Historical Exchange Data

▪Cricsheet Matches (cricket)

▪Equity in Athletics - The Equity in Athletics Data Analysis Cutting Tool is brought to you by [...]

▪Ergast Formula 1, from 1950 up to date (API)

▪Football/Soccer resources (data and APIs)

▪Lahman's Baseball Database

▪NFL play-by-play data - NFL play-by-play data sourced from: [...]

▪Pinhooker: Thoroughbred Bloodstock Sale Data

▪Pro Kabadi season 1 to 7 - Pro Kabadi League is a professional-level Kabaddi league in India. [...]

▪Retrosheet Baseball Statistics

▪Tennis database of rankings, results, and stats for ATP

▪Tennis database of rankings, results, and stats for WTA

▪Transfermarkt Datasets - Clean, structured and automatically updated football (soccer) data [...]

▪USA Soccer Teams and Locations - USA soccer teams and locations. MLS, NWSL, and USL [...]

@bigdatai

Transportation

Крупные Датасеты, связанные с транспотртом.

Airlines OD Data 1987-2008 [Meta]

Ford GoBike Data (formerly Bay Area Bike Share Data) [Meta]

Bike Share Systems (BSS) collection [Meta]

Dutch Traffic Information [Meta]

GeoLife GPS Trajectory from Microsoft Research [Meta]

German train system by Deutsche Bahn [Meta]

Hubway Million Rides in MA [Meta]

Montreal BIXI Bike Share [Meta]

NYC Taxi Trip Data 2009- [Meta]

NYC Taxi Trip Data 2013 (FOIA/FOILed) [Meta]

NYC Uber trip data April 2014 to September 2014 [Meta]

Open Traffic collection [Meta]

OpenFlights - airport, airline and route data [Meta]

Philadelphia Bike Share Stations (JSON) [Meta]

Plane Crash Database, since 1920 [Meta]

RITA Airline On-Time Performance data [Meta]

RITA/BTS transport data collection (TranStat) [Meta]

Renfe (Spanish National Railway Network) dataset [Meta]

Toronto Bike Share Stations (JSON and GBFS files) [Meta]

Transport for London (TFL) [Meta]

Travel Tracker Survey (TTS) for Chicago [Meta]

U.S. Bureau of Transportation Statistics (BTS) [Meta]

U.S. Domestic Flights 1990 to 2009 [Meta]

U.S. Freight Analysis Framework since 2007 [Meta]

U.S. National Highway Traffic Safety Administration - Fatalities since 1975 - Contains CSV [...] [Meta]

@bigdatai