Big Data-проекты в облаке: технологический стек, этапы и подводные камни

В новой статье на Хабре авторы расскажут про нюансы и неочевидные особенности запуска процессов при работе с Big Data-проектами в облаке.

📌 Читать

@bigdatai

World Bank Open Data.

Наборы данных, охватывающих демографическую ситуацию, огромное количество экономических показателей и индикаторов развития со всего мира.

https://data.worldbank.org/

@bigdatai

📉 High-Tech Companies on NASDAQ

Этот набор данных предлагает глубокий анализ эффективности высокотехнологичных компаний, котирующихся на бирже NASDAQ .

Более чем 8000 компаний в секторах электроники, компьютеров, телекоммуникаций и биотехнологий, это невероятно полезный источник информации для исследователей, трейдеров, инвесторов и специалистов по данным, заинтересованных в анализе данных.

▪ Dataset

@bigdatai

19 Датасетов для анализа данных, о которых вы скорее всего не слышали.

Работа с представленными датасетами сделает ваше портфолио в области науки о данных более привлекательным и разнообразным для работодателей.

Эти необычные датасеты могут стать идеальным способом найти вдохновение в мире Data Science.

▪Смотреть

@bigdatai

Data Viz Project

Data Viz Project - набор различных видов визуализаций, которые могут быть полезны для вашего Data Science проекта.

https://100.datavizproject.com/

@bigdatai

11 Инструментов исследования данных с открытым исходным кодом, которые вам следует знать в 2023 году

Существует множество известных библиотек и платформ для анализа данных, таких как Pandas и Tableau, в дополнение к аналитическим базам данных, таким как ClickHouse, MariaDB, Apache Druid, Apache Pinot, Google BigQuery, Amazon RedShift и т.д. Хотя фреймворки и платформы машинного обучения, такие как PyTorch, TensorFlow и scikit-learn, могут помочь в исследовании данных, это не является их основной целью.

Существует также множество доступных библиотек визуализации данных, которые могут обрабатывать данные, таких как Plotly, matplotlib, D3, Apache ECharts, Bokeh и т.д. В этой статье мы рассмотрим 11 инструментов, которые разработаны специально для исследования и анализа данных.

▪Читать

@bigdatai

Вакансия

⚡️Старший BI-аналитик в HR Tech

Стек: SQL, Tableau, Power BI, DataLens Python, Spark, JavaScript

Принимать решения на основе данных Яндексу помогает экосистема интерактивных дашбордов, которая показывает динамику самых важных HR-метрик. Мы ищем Старшего BI-аналитика, который будет собирать, анализировать и визуализировать данные с помощью BI-инструментов. Вам предстоит создавать экосистему аналитических продуктов по ключевым метрикам — найму, движению, обучению, вовлечённости и другим сторонам жизни сотрудников

🌙Что нужно делать:
— разрабатывать макеты дашбордов;
— визуализировать метрики и данные с использованием BI-инструментов;
— управлять пулом дашбордов как продуктом: собирать требования, вести бэклог доработок и идей, отвечать за улучшения;
— вместе с командой разрабатывать, поддерживать и развивать удобные и полезные аналитические продукты;
— участвовать в обновлении и улучшении методологии расчёта метрик в других проектах команды HR-дашбордов

🌙Мы предлагаем:
— экспертная и талантливая команда, у которой можно многому научиться и перенять опыт;
— культура открытости и взаимопомощи: у нас работают люди, вовлечённые в процесс и небезразличные к тому, что они делают;
— высокая скорость работы и возможность быстро увидеть свой вклад и результаты;
— сложные задачи для сервисов с тысячами пользователей
— возможность работать удалённо или из офиса
— премии каждые полгода для всех, кто успешно прошёл ревью
— расширенная программа ДМС
— компенсация оплаты питания
— программы жилищных займов для сотрудников

⚡️для отклика и по всем вопросам @irinavlsv

@bigdatai

✅ Awesome-Dataset-Distillation

Список Awesome статей и наборов данных на все случаи жизни.

Github: https://github.com/Guang000/Awesome-Dataset-Distillation

Awesome Computer Vision: https://github.com/jbhuang0604/awesome-computer-vision

Paper: https://arxiv.org/abs/2208.11311v1

Datasets: https://paperswithcode.com/dataset/cifar-10

@bigdatai