Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
275 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
Про навыки аналитиков на разных уровнях

В этой статье рассказывается про роль аналитика данных и грейды в Яндексе.
Мне очень понравилось что в ней есть и собранные в табличку ключевые навыки (см. файл), и подробно расписанные скиллы как для аналитиков, так и для руководителей.

По ней можно:
1. Понять чем занимаются аналитики
2. Понять стандартную структуру грейдов
👍4
25 инструментов для анализа и визуализации данных

Если нужны достаточно простые отчеты и диаграммы, то, как правило, хватает обычных систем веб-аналитики и функций Google Таблиц / Excel.

Но для построения полноценных дашбордов (интерактивных инструментов с автоматической загрузкой данных из разных источников) и красивых визуализаций (для презентаций, книг, медиа) лучше подойдут специальные решения.

Рассказываем о 25 средствах (сервисов, систем) для анализа и визуализации данных. По каждому — функциональность, тарифы, скриншот/видео. Подборка пригодится руководителям и владельцам бизнеса, маркетологам, аналитикам, дата-журналистам.


@data_analysis_ml
👍4
Шпаргалка по анализу данных

Шпаргалка

🔝 @progersit
👍4
Обновленный ruDALLE можно попробовать и веб.

! Внимание, режим "Square" вызывает старую модель, выбирайте другие режимы.

https://huggingface.co/spaces/multimodalart/rudalle
👍2
Визуализация данных Apache Hive с Microsoft Power BI с использованием ODBC в Azure HDInsight

В этой статье описано, как подключить Microsoft Power BI Desktop к Azure HDInsight с использованием ODBC и визуализировать данные Apache Hive.

Читать

@data_analysis_ml
👍2
«Time-to-market важнее pixel-perfect»: как мы разрабатывали BI-инструмент в «Яндексе»

Руководитель Yandex DataLens Роман Колеченков рассказывает, сколько нужно гипотез и терпения, чтобы превратить сложную внутреннюю систему аналитики в сервис десятков тысяч пользователей.

Читать

@data_analysis_ml
👍4
Профессия аналитик: 13 специализаций. Чем они занимаются?

1. Бизнес-аналитик
2. Аналитик данных
3. Аналитик финансов
4. Системный аналитик
5. Веб-аналитик
6. Аналитик-1С
7. Аналитик маркетплейсов (Wildberries и тд)
8. SMM-аналитик
9. Продуктовый аналитик
10. BI-аналитик
11. UX-аналитик
12. Game аналитик
13. Аналитик качества данных

Читать статью

@data_analysis_ml
👍4
👀Оперативный мониторинг ML и ПО-метрик в одной платформе
В реальных системах машинного обучения важно вести непрерывное наблюдение за данными и моделями. Даже сама ML-модель осталась прежней, характер данных мог измениться, что может непосредственно повлиять на пользователей. Сегодня на рынке существует множество платформ, предназначенных для мониторинга ПО, куда собираются различные системные и бизнес-метрики, чтобы отражать наиболее важные данные на наглядных дэшбордах и генерировать уведомления. Например, Grafana, Datadog, Graphite и пр.
Также есть средства для мониторинга ML-систем машинного обучения типа Neptune, Amazon SageMaker Model Monitor, Censius и прочие MLOps-средства. Но можно объединить наблюдение за работой системы машинного обучения с классическим инженерным мониторингом ПО на одной платформе. Это достижимо с помощью New Relic, телеметрической платформы удаленного мониторинга мобильных и веб-приложений, которая позволяет собирать, исследовать и получать оповещения обо всех данных телеметрии из любого источника в одном месте. Благодаря интеграции со многими open-source инструментами New Relic может работать с различными источниками и приемниками данных.
Отправка данных из ML-систем в New Relic реализуется с помощью Python-библиотеки ml-performance-monitoring с открытым исходным кодом, которая доступна на GitHub (https://github.com/newrelic-experimental/ml-performance-monitoring).
https://towardsdatascience.com/monitor-easy-mlops-model-monitoring-with-new-relic-ef2a9b611bd1
👍4👎1
Логичные дашборды для департамента логистики

лиентского сервиса. И хороший дашборд для логистики — это рабочий инструмент для принятия эффективных решений по сокращению затрат и по обеспечению клиентского сервиса. Меня зовут Максим Коровин, я отвечаю за дашборды в логистике, и в этом посте расскажу, как всё устроено.

На какие вопросы отвечают такие дашборды и для кого они?
Целевая аудитория этих дашбордов довольно широкая. Это и управленческий персонал конкретного склада (скажем, директор склада или складского аналитического центра), и диспетчерский центр всей компании, и директор по логистике, и курирующие члены Правления. В общем, запросы и уровни доступа у всех разные, но удобно должно быть всем.

Читать дальше

@data_analysis_ml
👍6
BPMN2_0_Poster_RU.pdf
272.7 KB
шпаргалка по BPMN 2.0: "BPMN 2.0 – Метамодель и нотация бизнес-процессов"

@data_analysis_ml
🔥8
#Вакансия: Data Engineer (Middle)

📍 В классном офисе в Москве/гибрид;
📍200-350К руб., белая ЗП или ИП;
📍Большой датасет, интересные задачи, возможность влиять на продукт.

ОБЯЗАННОСТИ

Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
ТРЕБОВАНИЯ
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.

БУДЕТ ПЛЮСОМ:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.

Понравилась вакансия? Присылай CV @naikava
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ru

В канале вы найдет :
📃Статьи ,
📚Книги
👨‍💻 Код
🔗Ссылки

и много другой полезной информации
#ArtificialIntelligence #DeepLearning
#MachineLearning #DataScience
#Python

1 канал вместо тысячи учебников и курсов 👇👇👇

🤖 @machinelearning_ru
👍8🔥1
Продолжим разбираться в сортах разных аналитиков, а именно: Бизнес-аналитик, Системный аналитик, продуктовый аналитик, аналитик данных и web-аналитик

Само понятие «профессия аналитик» очень широкое. У аналитиков, как и у других профессий, например врачей или инженеров, есть деление на узконаправленные специализации, ведь один человек не может хорошо разбираться во всех вопросах сразу. К таким специализациям можно отнести: бизнес-аналитика, системного аналитика, продуктового аналитика, аналитика данных, web-аналитика и тд.

Во многих компаниях данные специализации могут пересекаться и выполняться один и тем же специалистом, все зависит от сферы деятельности компании и от ее требований, от самого специалиста. Например может быть роль Бизнес/Системный аналитик.

Также вы легко сможете перейти из одной в другую специализацию на своём карьерном пути, но есть и более узконаправленные, выделяющиеся из общего потока.

Для детального погружения, предлагаю прочесть пару статей:

Я в аналитики пойду, пусть меня научат: советы по входу в профессию для начинающих - Статья поможет нам разобраться с ответом на один из самых частых вопросов: как стать аналитиком? Еще раз проведя грань между системным и бизнес-аналитиком, а также продуктовым аналитиком, аналитиком данных и веб-аналитиком.

Зачем вам столько аналитиков: чем бизнес-аналитик отличается от системного и Data Analyst’а - в данной статье пойдет речь в чем сходства и отличия 3-х разных профессий: бизнес-аналитика, системного аналитика и Data Analyst’а (аналитика данных)

@data_analysis_ml
👍8
Данные часто могут сделать решения хуже, а не лучше. Этот пост в блоге дает пример одной из таких ситуаций.

https://saturncloud.io/blog/relying-too-much/

@data_analysis_ml
👍8👎1
😱Запросы в гугле и твиты помогут предсказать следующий всплеск заболеваемости

Так, отзывы на ароматические свечи Yankee Candles в интернет магазинах были дополнительным индикатором распространения нового штамма. В конце 2021 года как раз посыпались жалобы от покупателей на отсутствие аромата и неприятный запах у свечей. Исследователи построили график роста отрицательных отзывов, и он очень смахивал на всплеск заболеваемости омикроном (на картинке как раз он).

Несчастным свечкам досталось еще и в начале пандемии: оценка ранее любимых покупателями свечей за год потеряла целую звезду. Помимо отзывов на свечи, ученые заметили связь с ростом поиска доставок сиропов от кашля и куриного супа с лапшой

Исследователи предлагают ориентироваться не только на число подтвержденных случаев, а еще и на такие специфические цифровые следы: авторы их назвают «хлебными крошками». Ученые считают, что эти маркеры помогут предсказать следующие волны заболеваемости, и тогда мы сможем как следует к ним подготовиться🌊
👍17
5 полезных запросов для MS SQL

За 2 года работы с MS SQL у меня накопился перечень из 5 запросов: для поиска, отладки, агрегации и обработки множеств и таблиц.

https://tproger.ru/articles/5-poleznyh-zaprosov-dlja-ms-sql/

@data_analysis_ml
👍51