​​О развитии предсказательного обслуживания на примере диагностики трансформатора

В статье речь пойдет про модельно-ориентированное проектирование, цифровой двойник моделирующий рабочие состояния, процессы и жизненный цикл актива, алгоритм диагностики и прогнозирования отказов на основе искусственного интеллекта, а также интеграция результатов в пользовательское ПО.

Перейти к статье | DATApedia | #DS_AI

​​Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов

Это умеренно сложная статья, в которой мы опишем основные принципы оптимизации запросов в Trino, без путешествия в "машинный зал". Схожие идеи реализованы во многих других аналитических системах, поэтому статья будет полезна широкому кругу читателей, занимающихся анализом данных и эксплуатацией аналитических систем.

Перейти к статье | DATApedia

​​Оптимизации работы Jupyter notebook при помощи параллельных вычислений (Библиотека Joblib)

В данном посте автор рассказывает о возможностях применения параллельных вычислений в интерактивной среде Jupyter notebook языка Python.

Перейти к статье | DATApedia

​​Нейронные сети не могут обобщать периодические зависимости. Как это исправить?

В данной статье обсуждается проблема обобщения периодических зависимостей нейронными сетями. Авторы рассматривают ограничения глубоких нейронных сетей в экстраполяции и предлагают альтернативные функции активации для более точного моделирования периодических систем.

Перейти к статье | DATApedia | #DS_AI

​​Книга «Python для data science»

Книга предназначена для разработчиков, желающим лучше понять возможности Python по обработке и анализу данных. Предполагается, что у вас уже есть базовый опыт работы с Python и для вас не составит труда следовать таким инструкциям, как установка базы данных или получение ключа API. Тем не менее концепции data science объясняются с нуля на практических, тщательно разобранных примерах. Поэтому опыт работы с данными не требуется.

Перейти к статье | DATApedia

Алоха, коллеги!

Сегодня вопрос из рубрики #fromInterviewWithLove

Дана таблица "Студенты" с полями "Имя", "Фамилия", "Возраст" и "Группа". Необходимо вывести список уникальных групп студентов и количество студентов в каждой группе, отсортированный по возрастанию названия группы.
Для решения этой задачи нужно написать следующий SQL-запрос:

SELECT DISTINCT Группа, COUNT(*) AS Количество_студентов
FROM Студенты
GROUP BY Группа
ORDER BY Группа ASC;

Этот запрос выбирает из таблицы "Студенты" уникальные группы студентов и вычисляет количество студентов в каждой группе. Затем он сортирует результат по возрастанию названия группы. Результатом запроса будет список уникальных групп студентов с количеством студентов в каждой группе.

Небольшая подсказка для новичков👇
Нужно понимать, как работать с агрегатными функциями, такими как COUNT, и как использовать оператор DISTINCT для выбора уникальных значений.

​​Data Consistency: как быть уверенным, что с данными всё ок

В этой статье рассказывается о том, как мониторить консистентность данных в аналитических системах, используя категориальные переменные, и как выбрать лучший способ для мониторинга.

Перейти к статье | SQLpedia

​​Вредные советы по подготовке датасета

Для кого статья?
- Вы делаете первые шаги в сборе датасетов на натуре, либо
- Уже имеете опыт, но интересно посмотреть на мнение коллег.

Перейти к статье | DATApedia

​​Декларирование ML-пайплайнов: организация экспериментов

Эта статья будет особенно полезна тем, кто хотел бы решить вопрос управления и отслеживания изменений в процессе разработки. Нередки ситуации, когда над одним проектом работает несколько команд. В этом случае важно позаботиться о сохранении истории изменений, чтобы следующие команды разработчиков могли получить информацию о том, что было сделано до них.

Перейти к статье | DATApedia | #DS_AI

​​Как оптимизировать процесс привлечения клиентов B2B с помощью методов Продвинутой Аналитики

В статье мы поделимся примером первого практического применения Продвинутой Аналитики в процессах стратегического бизнес-планирования численности ресурсов Сети для привлечения клиентов Юридических Лиц.

Перейти к статье | DATApedia

​​Нейронные сети врываются в медицину

Статья рассказывает о применении нейронных сетей в медицине, в частности, об использовании ИИ для анализа медицинских снимков и обработки естественного языка (NLP) в медицинских текстах. В статье также описывается архитектура Longformer, которая позволяет расширить контекст для моделей, основанных на RoBERTa.

Перейти к статье | DATAscience

​​Аннотирование повреждений автомобилей для обучения искусственного интеллекта

Благодаря доступности систем компьютерного зрения на основе ИИ, способных автоматизировать большую часть процессов, в последние годы активно развивается сфера визуального контроля, связанного с технологиями страхования. При помощи мобильных приложений или веб-сайтов пользователи могут выполнять удалённую оценку повреждений и мгновенно получать расчёт цены, что упрощает процесс и сильно снижает стресс пользователей. Однако обучение систем визуального контроля при помощи ИИ имеет свои сложности, поскольку требует постоянного наполнения высококачественными и разнообразными данными.

Перейти к статье | DATApedia | #DS_AI

​​Что такое Data science? Простыми словами о сложном

Впервые услышав о Data science, вам, скорее всего покажется это чем-то невероятно сложным и недоступным. Но стоит лишь немного разобраться в этой теме, вы откроете для себя эту дисциплину совершенно с другой стороны.

Перейти к статье | DATApedia

​​Сравниваем модели машинного обучения с применением статистических тестов

В этой статье рассмотрено три метода сравнения моделей.
Материал будет полезен для сравнения классических моделей, таких как регрессионные модели или модели классификации, на больших таблицах. Акцент в тексте сделан на методике сравнительного анализа, без учета оптимизации времени тестирования.

Перейти к статье | DATApedia

И з/п хорошую обещали

​​Как мы снизили нагрузку на SAP HANA незаметно для пользователей

В статье рассказывается о том, как команда снизила нагрузку на SAP HANA незаметно для пользователей, используя простой и действенный способ, основанный на разделении данных по "температуре" - на “холодные”, “теплые” и “горячие”. Рассматриваются проблемы, с которыми сталкиваются средние и крупные бизнесы, когда объем информации в корпоративном хранилище данных начинает превышать запланированные изначально мощности. Описываются шаги и сценарии миграции для снижения нагрузки на SAP HANA.

Перейти к статье | DATApedia

​​Модели прогнозирования продаж в «Магните»: Легенда об Ансамбле

Статья рассказывает о моделях прогнозирования продаж в сети магазинов "Магнит". Авторы описывают типы и особенности используемых моделей, а также сложности, с которыми сталкиваются при прогнозировании товарных категорий, присутствующих в ассортименте ограниченный период времени в течение года.

Перейти к статье | DATApedia

​​Как аннотировать документы для обучения ИИ распознавания текста

В этой статье описываются проблемы, связанные с обработкой неструктурированных данных, и предлагаются решения, такие как использование многонациональных команд для сбора датасетов на разных языках, сервисы для сбора состязательных примеров и написание четких инструкций по аннотированию. Также обсуждаются задачи парсинга документов и извлечения сущностей

Перейти к статье | DATApedia | #DS_AI