Load Data from Oracle Enterprise Planning and Budgeting Cloud Service (EPBCS) into Oracle Fusion Analytics

This post demonstrates augmenting Fusion Analytics data using an Enterprise Performance Management (EPM) functional module planning and Budgeting (PBCS) connector.

Read: https://blogs.oracle.com/analytics/post/load-data-from-oracle-enterprise-planning-and-budgeting-cloud-service-epbcs-into-oracle-fusion-analytics

@big_data_analysis

Вопросы и задачи по SQL на собеседованиях 2024: готовьтесь эффективно

В 2024 году вопросы и тестовые задания на собеседованиях не потеряли своей актуальности и продолжают вызывать огромный интерес у соискателей. Если вы сейчас погружены в процесс прохождения интервью, то наверняка сталкиваетесь с множеством непростых, но захватывающих задач.

Давайте вместе рассмотрим некоторые из новых вопросов и задач, которые реально задаются на собеседованиях в различных командах. Эти примеры основаны на моем собственном опыте и актуальны на сегодняшний день. Новые вопросы и задачи будут публиковаться по мере их поступления и прохождения собеседований.


Читать: https://habr.com/ru/articles/816537/

@big_data_analysis

Машинное обучение: мост между бизнесом и Data Science

Если последние несколько лет вы не жили на далёком острове без электричества и связи, то, вероятно, слышали о машинном обучении. Этот тренд было сложно не заметить. Каждый раз, когда мы говорим о беспилотных автомобилях, чат-ботах, AlphaGo или предиктивной аналитике, упоминается та или иная реализация машинного обучения. Хотя недостатка в историях и евангелистах нет, машинное обучение пока не стало в глазах бизнеса абсолютной необходимостью. В общественном восприятии применяемые в ML алгоритмы близки к научной фантастике, а подготовка конкретного плана внедрения ML по-прежнему остаётся высоким барьером.

Цель этой статьи — практические ответы, а не подготовка видения или продвижение тренда. Мы поговорим о зонтичном термине data science, о взаимосвязи его отраслей, основных задачах, которые может решать машинное обучение, а также о том, как эти задачи можно перевести на язык бизнеса. Также мы обсудим основные решения, которые нужно принять при найме специалистов, и выделим сложности, которые нужно учесть заранее


Читать: https://habr.com/ru/articles/773660/

@big_data_analysis

Enable stakeholder data access with Text-to-SQL RAGs

Read: https://www.startdataengineering.com/post/data-democratize-llm/

@big_data_analysis

Миграция Big Data на практике: как мы готовили напильники

Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником.

Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.


Читать: https://habr.com/ru/companies/vtb/articles/816325/

@big_data_analysis

Ландшафт Open Source Data Engineering в 2024 году: место России и мировые тенденции

Недавно на Practical Data Engineering Substack вышла статья, посвященная общемировому развитию Open Source дата-инжиниринга, которая может оказаться полезной и для российских специалистов. Мы перевели статью, в полном виде она опубликована здесь (ссылка). А в этом посте мы предлагаем вам наше осмысление результатов этой статьи и State of Data Engineering вместе с собранными нами данными непосредственно по России.

Предыстория

2023 год был примечателен не только всплеском активности в области генеративного ИИ и вокруг продуктов, подобных ChatGPT, но и значительным влиянием на сферу инженерии данных. Появление новейших инструментов и фреймворков открыло перед дата-инженерами целый спектр новых возможностей. Надо уметь выбрать инструмент для решения задачи и этот навык является ключевым для дата-инженера.

Многие известные отчеты, вроде MAD Landscape или State of Data Engineering, предлагают обширный обзор инструментов и сервисов в этой области. Однако основной фокус данного обзора – open-source инструменты, используемые для работы с данными на всех этапах жизненного цикла data-engineering.

Ниже представлены данные об экосистеме data engineering по состоянию на начало на 2024 года:


Читать: https://habr.com/ru/articles/809427/

@big_data_analysis

High Availability Configuration for SAML 2.0 and Kerberos Single Sign-On in Oracle Analytics Server using Docker Container

High availability configuration for SAML 2.0 and Kerberos Single Sign-On in Oracle Analytics Server using Docker container

Read: https://blogs.oracle.com/analytics/post/oas-ha-saml-kerb-sso-docker

@big_data_analysis

Configuring Multiple Docker Containers for SAML and Kerberos SSO on a Single Host to Support Multiple OAS Environments

Configuring Multiple Docker Containers for SAML and Kerberos SSO on a Single Host to Support Multiple OAS Environments

Read: https://blogs.oracle.com/analytics/post/oas-saml-kerb-docker-host-scalability

@big_data_analysis

Automation to Configure SAML Single Sign-On for Oracle Analytics Server using Oracle HTTP Server and Shibboleth-SP

Automation to Configure SAML Single Sign-On for Oracle Analytics Server using Oracle HTTP Server and Shibboleth-SP

Read: https://blogs.oracle.com/analytics/post/oas-saml-sso-ohs-shibd-sp

@big_data_analysis

Migrating Initialization Block Security Models used in OBIEE 12c to Fusion Middleware Security Models for Oracle Analytics Server

This post describes how to migrate the Initialization Block Security Model used in OBIEE 12c to Fusion Middleware Security Model for Oracle Analytics Server

Read: https://blogs.oracle.com/analytics/post/oas-init-block-security-to-fmw-security-model

@big_data_analysis

A Pepsi Challenge for Analytics & BI? Gartner’s 2024 Analytics & BI Bake-Off

Find out why Oracle Analytics Cloud got such a positive reaction from Gartner BI Bake-off attendees in Orlando and London.

Read: https://blogs.oracle.com/analytics/post/a-pepsi-challenge-for-analytics-bi-gartners-2024-analytics-bi-bakeoff

@big_data_analysis

Кто такой Head of Profession и зачем он нужен компании

Head of Profession — это суперквалифицированный инженер. У него достаточно знаний по теме, большой опыт, есть определённые успехи, он уже запускал какие-то крупные продукты. И что важно — готов и умеет делиться опытом и знаниями с другими.
 
Если вы обладаете вышеописанными качествами и вас интересует такой трек развития, рекомендуем ознакомиться с этой статьёй. Там детально разобрали его роль и навыки. А также показали на примере команды системных аналитиков, насколько появление такого специалиста повлияло на рабочие процессы.

 #советы

Оптимизация настроек Kafka кластера. Часть 1. Механизмы управления пропускной способностью

Привет, Хабр! Представляю вам перевод технического документа от Confluent, который посвящен тому, как определить, что именно нужно оптимизировать (пропускная способность, задержка, надежность или доступность), как настроить развертывание Kafka в соответствии с этими целями и убедиться в их достижении с помощью мониторинга. Сегодня я выкладываю первую часть, в которой обсуждается, как определить цели оптимизации и улучшить пропускную способность Kafka. Последующие статьи будут посвящены задержке, надежности, доступности, мониторингу и бенчмаркингу.


Читать: https://habr.com/ru/articles/818007/

@big_data_analysis
___
Другие наши проекты

Midjourney и пиксельные арты

Привет, чемпионы!

Часто ли вы обращаетесь к Midjourney или Stable Diffusion, чтобы нарисовать фантастический арт? Я да - нравится позалипать пару минут на фантастический арт. Давайте сегодня учиться генерировать подобные пикчи за пару кликов:
Посмотреть промпты

Читать: https://habr.com/ru/articles/818345/

@big_data_analysis
___
Другие наши проекты

Building cost effective data pipelines with Python & DuckDB

Read: https://www.startdataengineering.com/post/cost-effective-pipelines/

@big_data_analysis
___
Другие наши проекты

Reformer на TRAX?

Что такое Reformer и почему он круче Transformer’a (GPT-4...)?

Давайте предварительно начнем с того, что же такой Reformer и почему благодаря ему мы можем рассчитывать на расширение контекстов вплоть до десятков тысяч слов.

В классической архитектуре Transformer механизм внимания работает со сложностью, которая масштабируется квадратично с увеличением длины последовательности.

Это происходит потому, что каждый токен в последовательности должен вычислять оценки внимания со всеми другими токенами, что приводит к плотной матрице внимания, размер которой растет с квадратом длины последовательности – мрак для вычислительных способностей наших TPU и GPU.


Читать: https://habr.com/ru/articles/818521/

@big_data_analysis
___
Другие наши проекты

Разработка системы отчётности и BI: вопросы производительности

Мы в компании «Магнит» много лет строим и эксплуатируем корпоративное хранилище данных и занимаемся различными задачами, связанными с этим. В частности, разрабатываем инструмент для конечного пользователя — систему отчётности и BI.

В статье рассмотрим вопросы оптимизации производительности системы.


Читать: https://habr.com/ru/companies/magnit/articles/815667/

@big_data_analysis
___
Другие наши проекты

dbt(Data Build Tool) Tutorial

Read: https://www.startdataengineering.com/post/dbt-data-build-tool-tutorial/

@big_data_analysis
___
Другие наши проекты

Как построить AI-сервис и не прогореть на этом

Всем привет!
Меня зовут Дима Савелко, я лид команды нейро-сети.рф. Зачастую на старте создания сервисов люди концентрируются на вещах, которые стоит делать в самую последнюю очередь, после чего теряют кучу времени на расхлёбывание проблем.

В нашей статье мы рассказываем о том, как построить сервис с AI, а именно с диффузионной моделью, когда нужно обучать модель, как нужно обучать, и что делать если не можете обучить модель, также делимся ценным опытом предобработки данных и практическими советами, как начать с базовых решений и только при необходимости переходить к более сложным методам.

Узнайте, как существующие ИИ-инструменты могут уже сейчас удовлетворить ваши потребности, сохраняя высокое качество продукта.


Читать: https://habr.com/ru/articles/818825/

@big_data_analysis
___
Другие наши проекты

Оптимизация настроек Kafka кластера. Часть 2. Механизмы управления задержкой, надежностью и доступностью

Привет, Хабр! Представляю вам вторую часть из серии статей, посвященных оптимизации развертывания Kafka кластера (ссылка на первую часть). Это перевод руководства от Confluent. Сегодняшняя статья посвящена тому, как уменьшить задержку и повысить надежность и доступность. Заключительная третья часть будет посвящена мониторингу и бенчмаркингу.


Читать: https://habr.com/ru/articles/819243/

@big_data_analysis
___
Другие наши проекты

[Туториал] Пишем собственные Spark Native Functions (Часть 2)

В предыдущей своей статье Почему стоит начать писать собственные Spark Native Functions? (Часть 1), которая является переводом и которая вдохновила меня на собственные изыскания, был разобран пример, как написать свою Spark Native Function по генерации UID. Это, конечно, здорово, но вот только данная функция не принимает аргументы на вход, в то время как в реальной практике нам требуются обычно функции, которым надо передать на вход 1, 2 или 3 аргумента. Такие случаи не рассматриваются в упомянутой выше переводной статье - ну что ж, попробуем восполнить этот пробел!

Ниже я предлагаю вашему вниманию результаты своих изысканий по созданию собственных Spark Native Functions, которые бы принимали на вход несколько аргументов.


Читать: https://habr.com/ru/articles/816997/

@big_data_analysis
___
Другие наши проекты