🖥 От перцептронов до AlexNet и OpenAI. Эволюция и проблемы ML

Интересная статья от Yandex Research, в которой исследователи разбирают историю обучаемых алгоритмов, объясняют проблему «черного ящика» и рассказывают, как улучшают интерпретируемость работы ML-моделей.

О том, что уже известно о «внутренностях» ИИ и почему работу нейросетей нельзя измерять только их эффективностью, читайте по ссылке.

@bigdatai

🖥 Датасеты русского языка.

Национальный корпус русского языка — представительная коллекция текстов на русском языке общим объемом около 1,5 млрд слов
Russian Open Text To Speech (TTS) Dataset
Большой открытый корпус устной русской речи
Corus — коллекция русскоязычных NLP-датасетов
Golos dataset
Разметка аудиокниги Николая Старикова "Шерше ля нефть" в озвучке Эндшпиля
Набор данных по русской речи - Zpoken Dataset [RU]
Набор данных русской речи
Наборы данных для русского языка жестов

@bigdatai

✔️ Анализ сцен по фото

Набор данных ADE20K
sceneparsing.csail.mit.edu

Набор данных Places. Содержит более 10 миллионов изображений, содержащих более 400 уникальных категорий сцен
places2.csail.mit.edu

LSUN: Датасет изображений, разбитых по сценам и категориям с частичной разметкой данных
yf.io/p/lsun

Датасет статьи "Оценка стоимости недвижимости на основе видения" 9 Гб
omidpoursaeed.github.io/publication/vision-based-real-estate-price-estimation

House Rooms Image Dataset. Содержит 5000 фото 5 типов (ванная, спальня, обеденная, кухня, гостиная) комнат в квартире
kaggle.com/robinreni/house-rooms-image-dataset

Indoor Scene Recognition. Датасет для распознавания интерьера зданий. Содержит 15 620 изображений и 67 категорий.
web.mit.edu/torralba/www/indoor.html

@bigdatai

🚛 Data pipeline: наглядная иллюстрация от бразильский компании Semantixai.

@bigdatai

evidently- интерактивные отчеты для анализа моделей машинного обучения во время проверки или мониторинга в продакшене

Evidently, помогает анализировать модели машинного обучения во время проверки или мониторинга продакшена. Инструмент генерирует интерактивные визуальные отчеты и профили JSON из файлов pandas DataFrame или csv. На данный момент доступно 6 отчетов:
- Data Drift - обнаруживает изменения в распределении фичей
- Numerical Target Drift - обнаруживает изменения числового таргета и поведение фичей
- Categorical Target Drift - обнаруживает изменения в категориального таргета и поведение фичей
- Regression Model Performance - анализирует производительность регрессионной модели и ошибки модели
- Classification Model Performance - анализирует производительность и ошибки модели классификации. Работает как для бинарных, так и для мультиклассовых моделей.
- Probabilistic Classification Model Performance - анализирует производительность модели вероятностной классификации, качество калибровки модели и ошибки модели. Работает как для бинарных, так и для мультиклассовых моделей.

$ pip install evidently

🖥 Github
📝 Документация

@bigdatai

⭐️ Фотографии людей наборы данных

Generated Photos — первый крупный открытый датасет, состоящий из изображений лиц, сгенерированных нейросетью
generated.photos

Данные с сайта министерства обороны о ветеранах. Содержат примерно миллион записей.
https://foto.pamyat-naroda.ru/

People-Art - это набор изображений людей из фотографий и произведений искусства
github.com/BathVisArtData/PeopleArt

github.com/BathVisArtData/PhotoArt50

Набор из 13 тысяч размеченных изображений лиц людей
https://vis-www.cs.umass.edu/lfw/

@bigdatai

✔️ Awesome Data Journalism Awesome

Открытые данные и просто открытый репозиторий журналистики данных, чтобы изучить и понять практическую журналистику данных.

🖥 Github

@bigdatai

⭐️ Инструмент, который поможет вам разобраться со сверточными нейросетями. Там можно поиграться, позакидывать свои картинки и посмотреть как сеть их предсказывает, а так же почитать теорию:

➡️ Попробовать

@bigdatai

⭐️ Датасеты медиа и социальные сети

7 000 000 русских комментов из Инстаграмма
Несколько миллионов хештегов (рус+англ) из инсты с количеством постов, которые были опубликованы с ними за все время.
Московские хештеги с гео привязкой
MADAR SHARED TASK
Московские пользователи Tinder
Московские пользователи Telegram
2 500 000 приватных юзеров инстаграмма
1 000 000 картинок Инстаграмма
Sensortower: аналитика мобильных приложений
Все товары Wildberries (декабрь 2020)
Все товары Ozon (декабрь 2020)
14 000 юзеров Producthunt
Ссылки на все публикации Techcrunch (200k+)
Корпус из 17,6 миллионов твитов на русском языке, подходящий для обучения языковой модели для социальных сетей, модерации контента, анализа настроений и многого другого.
Russian Twitter Corpus

Набор данных, содержащий более 200 000 твитов с вредоносными аккаунтами.
Russian Troll Tweets:

Более 20 000 русских твитов с тегами настроений.
SentiRuEval trainset

InstaCities1M . Он состоит из изображений Instagram, связанных с одним из 10 самых густонаселенных англоязычных городов мира
gombru.github.io/2018/08/01/InstaCities1M/

Каталог пользователей ВКонтакте
https://vk.com/catalog.php

2.5 миллиона новостных записей из пабликов ВКонтакте
kaggle.com/mrdaniilak/25-million-news-posts-from-vkcom

Анонимные текстовые данные со страниц пользователей ВКонтакте
https://www.kaggle.com/oldaandozerskaya/vkontakte-dataset-of-users-textual-data

Информация о 472525 сообществах ВКонтакте
https://www.kaggle.com/kekekek/vk-groups-info

Российские выборы 2018 - активность пользователей vk.com. Сообщения и комментарии пользователей, собранные во время и за 1 месяц до выборов
https://www.kaggle.com/borisch/russian-election-2018-vkcom-user-activity

Новости ВКонтакте
https://www.kaggle.com/ismailgadzhiev/vknews

Датасет ответов сайта Ответы mail.ru
https://www.kaggle.com/datasets/atleast6characterss/otvetmailru-solved-questions

@bigdatai