Data Analysis / Big Data
2.84K subscribers
566 photos
3 videos
2 files
2.76K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Знакомство с Fugue — уменьшаем шероховатости при работе с PySpark

Автор оригинальной статьи: Kevin Kho

Повышение производительности разработчиков и снижение затрат на проекты Big Data


Читать: https://habr.com/ru/post/710338/
Create and schedule aggregates without an ETL tool in Oracle Fusion Analytics Warehouse

As enterprise data volumes surge, customers of Oracle Fusion Analytics Warehouse often need to create custom aggregate tables. This article addresses this critical need by outlining how custom aggregates can be created from transactional fact tables and scheduled automatically.

Read: https://blogs.oracle.com/analytics/post/faw_create-schedule-aggregates
👍1
Improve cache management in Oracle Analytics Cloud with Python

Learn how to manage the semantic model cache in Oracle Analytics Cloud using Python.

Read: https://blogs.oracle.com/analytics/post/improve-oac-cache-management-with-python
Как погода влияет на отзывы людей в интернете?

Как погода влияет на отзывы людей в интернете?

Ожидается, что мир преодолеет порог глобального потепления между 2027 и 2042 годами. Используя математические модели, которые анализируют текущее состояние климата Земли, ученые ожидают, что температура повысится на 1,5 градуса, как только мы достигнем этого уровня.

Правительства и экологические активисты многих стран мира бьют тревогу по поводу необходимости остановить климатическую катастрофу, которая нарастает быстрее, чем предполагалось в первоначальных прогнозах. Тем не менее, новые технологии будут играть важную роль в формировании политики и разработке инноваций, направленных на решение климатических проблем.

Если абстрагироваться от глобальных перемен климата и рассмотреть изменения состояния погоды, например, в России, то можно сделать несколько любопытных наблюдений.


Читать: https://habr.com/ru/post/710818/
RSNA 2022 Cervical Spine Fracture Detection, или как я переломы шейных позвонков искал

Доброго времени суток всем уважаемым хабровчанам. Меня зовут Алексей, и в данный момент я работаю в “Филиале №11 ООО "ОЦРВ" Сириус”. В этой статье я хотел бы поделиться с вами опытом своего участия в соревновании на достаточно известной соревновательной платформе по Data Science’у - Kaggle.
Перейдем к сути

Читать: https://habr.com/ru/post/710876/
ML-задача на 30 минут: гадаем по cookie

«Я тебя по IP вычислю!» – помните такую угрозу из интернета времен нулевых годов? Мы в Big Data МТС решили выяснить, можно ли составить хотя бы приблизительное представление о человеке, обладая информацией о сайтах, которые он посещает. Мы сгенерировали полусинтетические данные, чтобы понять, насколько смелыми можно быть в этих ваших интернетах.

Приглашаем вас попробовать составить портрет пользователя на основе этих данных и посмотреть, насколько точным он получится. Также под катом вы найдете наш baseline решения, написание которого займет около получаса.


Читать: https://habr.com/ru/post/709602/
🔥1
Дайджест Python: итоги 2022 года, обзор версии 3.11 и курсы от Google

Дайджест интересных статей о Python: что нового в версии 3.11, гайды по программированию на Python и обучающие статьи.

Читать: «Дайджест Python: итоги 2022 года, обзор версии 3.11 и курсы от Google»
A look at the re-imagined Oracle Analytics mobile app

The Oracle Analytics mobile application has a new look and feel and improved user experience. Now you can stay connected to the information that you need on the go, search across all your reports and dashboards, and navigate through your personal and shared folders.

Read: https://blogs.oracle.com/analytics/post/a-look-at-the-re-imagined-oracle-analytics-mobile-app
👍1
Как стать архитектором ПО в 2023 году?

IT-архитектор — это проектировщик, который принимает ключевые решения. В банковской сфере IT-архитектору приходится строить сложные системы, учитывая такие особенности, как работа с большим количеством пользователей и объёмами данных.

Если любите стратегические задачи и большие проекты, эта специальность может стать работой мечты. Вместе с Владимиром Григорьевым, экспертом по архитектуре Газпромбанка, выделили области знаний, которые помогут сориентироваться в профессии:

Читать: https://tprg.ru/iEcW
Цвет сезона – слива. Что мы сделали с GreenPlum в 2022-м и что планируем в 2023-м

Привет, Хабр! Меня зовут Марк Лебедев, работаю архитектором в GlowByte. В июне 2022 года на митапе DataPeople мы с командой рассказывали о наших планах в части GreenPlum (запись выступления). Если коротко, тогда мы сфокусировались на развитии open-source и собирались выложить в публичный доступ наши наработки относительно мониторинга кластера и мониторинга запросов, плейбуки по инсталляции и наши подходы для нагрузочного тестирования. Собственно про них и хотелось бы поговорить подробно. В этой статье мы подведём итоги, что нам удалось сделать за прошедшие 6 месяцев, и расскажем о планах на будущий год. В конце статьи укажем все ссылки на репозитории.


Читать: https://habr.com/ru/post/711206/
How to get multiple prediction outputs for an Oracle Machine Learning model in Oracle Analytics Cloud

This blog describes how to get multiple prediction outputs for an OML model as part of the scoring process in dataflows in OAC.

Read: https://blogs.oracle.com/analytics/post/how-to-get-multiple-output-predictions-for-an-oml-model-in-oac
Интерпретируемость ML-моделей: от инструментов до потребностей пользователя

Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей пользователя и особенностей задач, которые он решает.

В статье разберемся, как эффективно работать с интерпретируемостью ML-моделей в зависимости от потребностей ключевых пользователей.


Читать: https://habr.com/ru/post/709688/
Важные исследования в области AI в 2022 г

Данная статья представляет собой свободный перевод раздела "Исследования" из доклада State of the Art 2022 (октябрь). Доклад State of the Art публикуется уже пятый год. Это подборка самых интересных вещей в мире AI, (конечно с точки зрения авторов). Отчет включает в себя несколько блоков:


Читать: https://habr.com/ru/post/711512/
Компьютерное зрение: загрузка и подготовка данных Fashion MNIST

Глубокое обучение — это набор методов, которые особенно хорошо работают с задачами компьютерного зрения и обработки естественного языка. DL является частью более широкой области, называемой машинным обучением (ML).

В данной практике мы хотим распознавать разные предметы одежды, обученные на наборе данных, содержащем 10 различных типов — по сути, проблема классификации изображений, а не данные, напоминающие что-то вроде набора данных Iris, который мы далее рассмотрим.


Читать: https://habr.com/ru/post/711852/
Configure Private Printer in Oracle Analytics Cloud using Public OCI Load Balancer

In Oracle Analytics Cloud you can enable IPP printing through a private printer running from a Common UNIX Printing System (CUPS) server or directly via IPP.

Read: https://blogs.oracle.com/analytics/post/configure-a-private-printer-in-oracle-analytics-cloud