Data Analysis / Big Data
2.82K subscribers
570 photos
4 videos
2 files
2.68K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Overview of Areas of Responsibility and Custom Security in Oracle Fusion HCM Analytics

This article provides an overview of Areas of Responsibility and how they are used to set up custom security in Oracle Fusion HCM Analytics. It provides links to additional blogs that cover detailed use cases.

Read: https://blogs.oracle.com/analytics/post/overview-of-aor-custom-security-in-hcm-analytics
PySpark для аналитика. Как выгружать данные с помощью toPandas и его альтернатив

Тимлид команды аналитики и DS в Авито Александр Ледовский рассказал, как быть, когда нужно посчитать что-то на pySpark, чтобы потом выгрузить.


Читать: https://habr.com/ru/companies/avito/articles/740232/
BI система на прокачку: как мы используем плагины Fine BI

Вот уже больше года, мы в BI Consult работаем с китайской платформой self service BI-анализа – Fine BI. Работаем, изучаем, интегрируем и рассказываем. На этот раз хотим сделать акцент на интересном и актуальном вопросе - Плагины.

Расскажем про магазин плагинов, составим для вас список полезных плагинов, покажем как устанавливаются плагины без смс, регистрации и одноразовых SIM карт.

В конце статьи вы найдете список всех плагинов, поддерживающих английский язык с описанием, которые подтверждены вендором и готовы к работе.


Читать: https://habr.com/ru/articles/741304/
Почему для MLOps лучше выбирать Open Source, а не проприетарное ПО

Самому обеспечивать гибкость и контроль собственного ML-пайплайна — это важно. Команды по машинному обучению могут использовать проприетарные платформы или создавать собственные решения с помощью Open-Source-инструментов. Компании часто представляют проприетарные платформы как более мощные, эффективные и простые в использовании. Но в действительности они часто оказываются более сложными и менее мощными, чем их Open-Source-конкуренты.


Читать: https://habr.com/ru/companies/vk/articles/735720/
Что такое Dython

Обозреваем Dython (Dynamic Python) – библиотеку Python для лёгкого анализа данных, особенно в области анализа зависимостей и корреляций.

Читать: «Что такое Dython»
Меч из озера: итоги сезона больших данных

…Из Data Lake вынырнула прекрасная дева и протянула Артуру меч, и на том мече рунической вязью было начертано «Big Data». «Пусть он служит тебе верой и правдой, пронзая тьму незнания и проливая свет на самые неочевидные закономерности», — торжественно произнесла Владычица Озера. Король Артур преклонил колени и принял меч из рук девы. Затем оседлал коня и направился в сторону ближайшего дата-центра.

Сезон больших данных на Хабре подошёл к концу. Сегодня мы поговорим о том, какими знаниями вооружили нас авторы сезона, раздадим ценные артефакты, а заодно — побеседуем о перспективах больших данных с авторами сезона и экспертами Газпромбанка.


Читать: https://habr.com/ru/specials/741742/
Oracle Analytics a Leader in Forrester Wave for Augmented BI Platforms

Oracle has been recognized as a Leader in The Forrester Wave: Augmented Business Intelligence Platforms, Q2 2023, authored by Boris Evelson. Oracle’s rating in the Wave carries significant weight as Forrester Research is one of the most respected and influential analyst firms that C-level executives globally consult before making buying decisions. For our customers and partners, the position as a Leader position validates their choice to work with Oracle Analytics.

Read: https://blogs.oracle.com/analytics/post/oracle-analytics-a-leader-in-forrester-wave-for-augmented-bi-platforms
Форматы данных и файлов: руководство для архитекторов

В мире данных происходит революция. Сегодня волна Open-Source-форматов данных, поднявшаяся благодаря развитию технологий, меняет привычное положение дел для всех участников экосистемы, от поставщиков до предприятий. Вы наверняка слышали о таких форматах, как Parquet, ORC, Avro, Arrow, Protobuf, Thrift и MessagePack. Команда VK Cloud перевела статью о том, что они собой представляют и какой из них лучше выбрать.


Читать: https://habr.com/ru/companies/vk/articles/741702/
Data Fusion Contest. Издание 2-ое, переработанное и дополненное

Соревнование Data Fusion Contest 2023 в этом году состоялось во второй раз и собрало  сильнейшие индустриальные команды и отдельных любителей моделей алгоритмов машинного обучения. Кто-то участвовал впервые, а кто-то, уже умудрённый прошлым опытом был явно настроен только на победу.

В этот раз мы решили принципиально изменить задание и придумали новый формат. Что произойдет, если столкнуть лицом к лицу участников, мотивированных атаковать модели машинного обучения, с другими участниками, мотивированными свои модели защищать? Кто победит, каким окажется тот стек моделей и подходов, который приведет к победе? Что важнее, знания и опыт, или гибкость ума или нестандартные подходы?

Мы задали себе все эти вопросы и решили найти ответы на практике, подготовив для участников Data Fusion Contest 2023 очень нестандартное и по теме и по формату соревнование по Adversarial ML с атаками на модели машинного обучения, а также с их защитой.

Давайте разбираться, что из этого получилось по факту, и какие решения предложили участники, чтобы оказаться в рядах победителей!


Читать: https://habr.com/ru/companies/vtb/articles/741500/
Построение BI-системы: вы могли об этом забыть…

Привет, Habr! Совсем недавно я опубликовал статью про Self-Service BI: что же это такое и зачем он нужен крупным компаниям. Но теперь хочется немного отойти непосредственно от Self-Service и вернуться в целом к построению BI-систем. В 2021 году я выступал на Analyst Days с одноименным докладом. Запись выступления ниже (казалось бы, причем тут автомобили?):


Читать: https://habr.com/ru/articles/742026/
ТОП-5 мобильных приложений для изучения Python

Собрали несколько популярных мобильных приложений для изучения Python и не только и описали их плюсы и минусы.

Читать: «ТОП-5 мобильных приложений для изучения Python»
👌2👍1
Подборка актуальных вакансий

Бизнес-аналитик
Где: удалённо
Опыт: от 1 года

Системный аналитик
Где: удалённо
Опыт: от 1 года

Аналитик
Где: удалённо
Опыт: от 1 года

Аналитик
Где: удалённо
Опыт: от 1 года

Системный аналитик
Где: удалённо
Опыт: от 2 лет

Full-stack аналитик
Где: удалённо
Опыт: от 2 лет

Аналитик
Где: удалённо
Опыт: от 2 лет

Web-аналитик
Где: Москва, можно удалённо
Опыт: от 2 лет

Системный аналитик
Где: Москва, можно удалённо
Опыт: от 2 лет

Аналитик ПО Диасофт FA# (Digital Q)
Где: Москва, можно удалённо
Опыт: от 2 лет

#вакансии #работа
Дайджест Python #11: шаурмичная на Python и AI-плагины для разработки

Лучшие статьи о Python с 1 по 15 июня: как готовить шаурму с Python, как создать чатбот на ruT5 и какие есть AI-плагины для разработки.

Читать: «Дайджест Python #11: шаурмичная на Python и AI-плагины для разработки»
Дайджест Python #11: шаурмичная на Python и AI-плагины для разработки

Лучшие статьи о Python с 1 по 15 июня: как готовить шаурму с Python, как создать чатбот на ruT5 и какие есть AI-плагины для разработки.

Читать: «Дайджест Python #11: шаурмичная на Python и AI-плагины для разработки»
Борьба за открытый исходный код: BI-шоудаун на вебинаре «Open-source vs пропиетарный BI»

Являясь сторонником решений с открытым исходным кодом в области бизнес-аналитики (BI), я был рад принять участие в онлайн-вебинаре Visiology в прошлый четверг. Я присоединился к увлекательной дискуссии не только для того, чтобы предаться интеллектуальному спору, но и для того, чтобы продемонстрировать практичность технологий с открытым исходным кодом на конкретных примерах.

Ландшафт BI меняется, и недоступность традиционных коммерческих решений заставила многие российские компании пересмотреть свои стратегии. Я продемонстрировал потенциал решений с открытым исходным кодом, объясняя, почему они могут быть прагматичным выбором для компаний, стремящихся к экономичности, свободе технической разработки и свободе от привязки к поставщику (вендор-лок).

Однако эта дискуссия не была односторонней. Мне противостоял Евгений Скребанов, опытный профессионал, который твердо поддерживает проприетарное программное обеспечение BI. Евгений, обладающий обширными знаниями в области аналитических систем и не понаслышке знакомый с западным и российским рынками BI, представил иную точку зрения.

Хотя мы понимаем, что в этой дискуссии нет однозначного "победителя" - разные платформы и системы подходят для разных ситуаций, - наша цель - дать вам полное представление об обоих подходах.

Выражаю благодарность всем участникам данного батла за то, что потратили вечернее время на в увлекательную дискуссию о будущем BI-технологий и были активны в чате.

В данной статье, я открою материалы встречи и отвечу на вопросы, которые задавались в чате вебинара (это был самый активный чат из всех последних вебинаров). Если у вас есть вопросы по теме выбора BI или своя точка зрения, буду рад увидеть ее и ответить в комментариях под постом.


Читать: https://habr.com/ru/articles/742762/
Как создать платформу для управления 50 000 сотрудниками в ритейле при помощи частного облака

Как отслеживать эффективность сотрудников по всей стране, хранить терабайты данных и поддерживать доступность сервиса на высоком уровне? Платформа Imredi пять лет назад выбрала в качестве облачного провайдера Selectel и в 2022 году вышла на выручку в 200 млн в год. Рассказываем, какие решения использовались при построении платформы, как организована ее техническая часть и какие преобразования ожидаются в будущем.


Читать: https://habr.com/ru/companies/selectel/articles/740258/