Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
274 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
Для чего и зачем нужен Бизнес/системный аналитик при создании IT-систем?

Бизнес/системный аналитик собирает требования к продукту, описывает бизнес-процессы, проектирует прототипы и составляет техническое задание (ТЗ). Также аналитик помогает заказчику снизить риски и сократить сроки разработки либо оптимизации программного обеспечения.

Давайте разберемся в чем же польза аналитика при разработке продукта:

1. Выявление истинных проблем и предложение решения для их устранения. Ведь это как раз аналитик разбирается в чем настоящая пробелам. Проблемой может быть устаревшее приложение или бизнес-процессы, которые стали неудобными для клиентов. Поэтому аналитик должен разобраться какие процессы компании требуют изменений и предложить механизмы исправления ситуации.

2. Определение направления развития и разработка решения для реализации изменений. Аналитик изучает текущую ситуацию, оценивает цели, к которым стремится компания и помогает найти возможности для их реализации, тем самым аналитик находит точки роста бизнеса.

3. Покрытие метриками всех событий в продукте: аналитик помогает оценить как бизнес-влияние, так и вообще работоспособность фичей. Правильно подобранный сет метрик, точная аналитика и своевременные меры по оптимизации помогают удерживать бизнес на плаву. Аналитик проводить анализ по всему продукту и по отдельной фиче в продукте и даёт свою оценку по их реализации и оптимизации.

4. Сокращение рисков. Аналитик проводить оценку рисков, которая включает в себя их анализ и управление ими, начиная от выявления факторов, до определения степени их негативного влияния и разработки рекомендаций.

5. Реализация или разработка продукта в целом. Аналитик является связующим звеном между бизнесом и разработкой. Грубо говоря, он переводит бизнесовый язык в язык для разработки продукта - технический. Для кросс-доменных проектов, связанных с интеграциями, это особенно важно. Также аналитик сокращает время и затраты продакта при описании задач и команды при погружении в задачу и вопросы.

6. Курирование системного рефакторинга тоже на системной аналитике: улучшение RPS, RT и других инфраструктурных метрик тоже на аналитике. Всегда есть как улучшить на 1-10%.

Это лишь часть причин, по которым Бизнес/системный аналитик будет полезен бизнесу для создания IT-систем.

Источник: @ba_and_sa

Чтобы погрузиться в тему немного глубже предлагаю прочесть статьи:

📌 Какова роль аналитика и его задачи при разработке мобильных приложений

📌Что такое бизнес-анализ и зачем проводить его на старте проекта

📌Кто такой бизнес-аналитик и какова его роль в IT-команде
Все уже видели убийцу DALL-E 2 от Google Brain?

Imagen: новая модель для офигенного text-to-image generation. Авторы утверждают, что при оценке качества генерируемых картинок людям больше нравятся картинки от Imagen, а не DALL-E 2!

Imagen — это диффузионная модель, как и DALL-E 2. Главное ее отличие в том, как она получает эмбеддинг текста для подачи на вход диффузии. Авторы Imagen используют для этого предобученную языковую модель T5 (см. 2 картинку). Эмбеддинг из T5 подается как condition на вход диффузионной модели, которая генерирует картинку размера 64х64. Далее эта картинка проходит через еще две диффузионные модели для super resolution, которые увеличивают разрешение до 256х256 и далее до 1024х1024.

То есть главное открытие Imagen — это что огромная предобученная языковая модель выдает очень хорошие эмбеддинги текста, по которым диффузионная модель может научиться генерировать очень крутые картинки.

Больше примеров картинок и деталей устройства в блоге Google и в статье на arxiv.
Про навыки аналитиков на разных уровнях

В этой статье рассказывается про роль аналитика данных и грейды в Яндексе.
Мне очень понравилось что в ней есть и собранные в табличку ключевые навыки (см. файл), и подробно расписанные скиллы как для аналитиков, так и для руководителей.

По ней можно:
1. Понять чем занимаются аналитики
2. Понять стандартную структуру грейдов
👍4
25 инструментов для анализа и визуализации данных

Если нужны достаточно простые отчеты и диаграммы, то, как правило, хватает обычных систем веб-аналитики и функций Google Таблиц / Excel.

Но для построения полноценных дашбордов (интерактивных инструментов с автоматической загрузкой данных из разных источников) и красивых визуализаций (для презентаций, книг, медиа) лучше подойдут специальные решения.

Рассказываем о 25 средствах (сервисов, систем) для анализа и визуализации данных. По каждому — функциональность, тарифы, скриншот/видео. Подборка пригодится руководителям и владельцам бизнеса, маркетологам, аналитикам, дата-журналистам.


@data_analysis_ml
👍4
Шпаргалка по анализу данных

Шпаргалка

🔝 @progersit
👍4
Обновленный ruDALLE можно попробовать и веб.

! Внимание, режим "Square" вызывает старую модель, выбирайте другие режимы.

https://huggingface.co/spaces/multimodalart/rudalle
👍2
Визуализация данных Apache Hive с Microsoft Power BI с использованием ODBC в Azure HDInsight

В этой статье описано, как подключить Microsoft Power BI Desktop к Azure HDInsight с использованием ODBC и визуализировать данные Apache Hive.

Читать

@data_analysis_ml
👍2
«Time-to-market важнее pixel-perfect»: как мы разрабатывали BI-инструмент в «Яндексе»

Руководитель Yandex DataLens Роман Колеченков рассказывает, сколько нужно гипотез и терпения, чтобы превратить сложную внутреннюю систему аналитики в сервис десятков тысяч пользователей.

Читать

@data_analysis_ml
👍4
Профессия аналитик: 13 специализаций. Чем они занимаются?

1. Бизнес-аналитик
2. Аналитик данных
3. Аналитик финансов
4. Системный аналитик
5. Веб-аналитик
6. Аналитик-1С
7. Аналитик маркетплейсов (Wildberries и тд)
8. SMM-аналитик
9. Продуктовый аналитик
10. BI-аналитик
11. UX-аналитик
12. Game аналитик
13. Аналитик качества данных

Читать статью

@data_analysis_ml
👍4
👀Оперативный мониторинг ML и ПО-метрик в одной платформе
В реальных системах машинного обучения важно вести непрерывное наблюдение за данными и моделями. Даже сама ML-модель осталась прежней, характер данных мог измениться, что может непосредственно повлиять на пользователей. Сегодня на рынке существует множество платформ, предназначенных для мониторинга ПО, куда собираются различные системные и бизнес-метрики, чтобы отражать наиболее важные данные на наглядных дэшбордах и генерировать уведомления. Например, Grafana, Datadog, Graphite и пр.
Также есть средства для мониторинга ML-систем машинного обучения типа Neptune, Amazon SageMaker Model Monitor, Censius и прочие MLOps-средства. Но можно объединить наблюдение за работой системы машинного обучения с классическим инженерным мониторингом ПО на одной платформе. Это достижимо с помощью New Relic, телеметрической платформы удаленного мониторинга мобильных и веб-приложений, которая позволяет собирать, исследовать и получать оповещения обо всех данных телеметрии из любого источника в одном месте. Благодаря интеграции со многими open-source инструментами New Relic может работать с различными источниками и приемниками данных.
Отправка данных из ML-систем в New Relic реализуется с помощью Python-библиотеки ml-performance-monitoring с открытым исходным кодом, которая доступна на GitHub (https://github.com/newrelic-experimental/ml-performance-monitoring).
https://towardsdatascience.com/monitor-easy-mlops-model-monitoring-with-new-relic-ef2a9b611bd1
👍4👎1
Логичные дашборды для департамента логистики

лиентского сервиса. И хороший дашборд для логистики — это рабочий инструмент для принятия эффективных решений по сокращению затрат и по обеспечению клиентского сервиса. Меня зовут Максим Коровин, я отвечаю за дашборды в логистике, и в этом посте расскажу, как всё устроено.

На какие вопросы отвечают такие дашборды и для кого они?
Целевая аудитория этих дашбордов довольно широкая. Это и управленческий персонал конкретного склада (скажем, директор склада или складского аналитического центра), и диспетчерский центр всей компании, и директор по логистике, и курирующие члены Правления. В общем, запросы и уровни доступа у всех разные, но удобно должно быть всем.

Читать дальше

@data_analysis_ml
👍6
BPMN2_0_Poster_RU.pdf
272.7 KB
шпаргалка по BPMN 2.0: "BPMN 2.0 – Метамодель и нотация бизнес-процессов"

@data_analysis_ml
🔥8
#Вакансия: Data Engineer (Middle)

📍 В классном офисе в Москве/гибрид;
📍200-350К руб., белая ЗП или ИП;
📍Большой датасет, интересные задачи, возможность влиять на продукт.

ОБЯЗАННОСТИ

Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
Обеспечивать SLA и качество данных;
Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.
ТРЕБОВАНИЯ
Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
Опыт продуктовой разработки в технологических компаниях.

БУДЕТ ПЛЮСОМ:
Опыт работы с облаками, особенно, с Яндекс.Облаком;
Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
Опыт работы с моделями машинного обучения в продакшене;
Опыт работы с базами данных для аналитики, особенно, с ClickHouse.

Понравилась вакансия? Присылай CV @naikava
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ru

В канале вы найдет :
📃Статьи ,
📚Книги
👨‍💻 Код
🔗Ссылки

и много другой полезной информации
#ArtificialIntelligence #DeepLearning
#MachineLearning #DataScience
#Python

1 канал вместо тысячи учебников и курсов 👇👇👇

🤖 @machinelearning_ru
👍8🔥1
Продолжим разбираться в сортах разных аналитиков, а именно: Бизнес-аналитик, Системный аналитик, продуктовый аналитик, аналитик данных и web-аналитик

Само понятие «профессия аналитик» очень широкое. У аналитиков, как и у других профессий, например врачей или инженеров, есть деление на узконаправленные специализации, ведь один человек не может хорошо разбираться во всех вопросах сразу. К таким специализациям можно отнести: бизнес-аналитика, системного аналитика, продуктового аналитика, аналитика данных, web-аналитика и тд.

Во многих компаниях данные специализации могут пересекаться и выполняться один и тем же специалистом, все зависит от сферы деятельности компании и от ее требований, от самого специалиста. Например может быть роль Бизнес/Системный аналитик.

Также вы легко сможете перейти из одной в другую специализацию на своём карьерном пути, но есть и более узконаправленные, выделяющиеся из общего потока.

Для детального погружения, предлагаю прочесть пару статей:

Я в аналитики пойду, пусть меня научат: советы по входу в профессию для начинающих - Статья поможет нам разобраться с ответом на один из самых частых вопросов: как стать аналитиком? Еще раз проведя грань между системным и бизнес-аналитиком, а также продуктовым аналитиком, аналитиком данных и веб-аналитиком.

Зачем вам столько аналитиков: чем бизнес-аналитик отличается от системного и Data Analyst’а - в данной статье пойдет речь в чем сходства и отличия 3-х разных профессий: бизнес-аналитика, системного аналитика и Data Analyst’а (аналитика данных)

@data_analysis_ml
👍8