Анализ рынка акций мировых компаний на брокерской платформе Tinkoff Инвестиции
В мире, где цифровые технологии играют все более важную роль в повседневной жизни, рынок ценных бумаг становятся объектом увеличивающегося интереса исследователей, инвесторов, а также экономических и финансовых институтов. Цифровые активы и способы прогнозирования их стоимости быстро привлекают внимание своей децентрализованной природой, возможностью проведения глобальных финансовых транзакций и перспективой защиты от инфляции. Однако, они также характеризуются высокой волатильностью, что делает их предметом повышенного финансового риска. Этот рынок играет ключевую роль в экономике, поскольку предоставляет компаниям доступ к капиталу для финансирования своей деятельности, а также дает инвесторам возможность вложить свои деньги с целью получения прибыли [1, 2].
Платформа Tinkoff Инвестиции — это онлайн-сервис от Tinkoff Bank, который предоставляет клиентам возможность инвестировать в различные финансовые инструменты, включая акции, облигации, фонды, ETF и другие. Широкий выбор активов, удобный интерфейс и наглядная аналитика, и отчетность на платформе делает ее привлекательной для новичков и опытных инвесторов. Онлайн-брокерские компании позволяют инвесторам быстро и легко зарегистрироваться и приступить к торговле [3].
В условиях непредсказуемости и динамичности рынка, возникает потребность в прогностических моделях [4], способных предсказывать изменение цен акций в будущем. Моделирование и прогнозирование цен акций представляет собой сложную многомерную задачу, которая может быть решена с применением различных методов анализа данных и финансовых инструментов. На сегодняшний день существует широкий спектр подходов к предсказанию цен на цифровые активы, который охватывает как традиционные статистические методы, так и передовые алгоритмы машинного обучения [5].
Читать: https://habr.com/ru/articles/815265/
@big_data_analysis
В мире, где цифровые технологии играют все более важную роль в повседневной жизни, рынок ценных бумаг становятся объектом увеличивающегося интереса исследователей, инвесторов, а также экономических и финансовых институтов. Цифровые активы и способы прогнозирования их стоимости быстро привлекают внимание своей децентрализованной природой, возможностью проведения глобальных финансовых транзакций и перспективой защиты от инфляции. Однако, они также характеризуются высокой волатильностью, что делает их предметом повышенного финансового риска. Этот рынок играет ключевую роль в экономике, поскольку предоставляет компаниям доступ к капиталу для финансирования своей деятельности, а также дает инвесторам возможность вложить свои деньги с целью получения прибыли [1, 2].
Платформа Tinkoff Инвестиции — это онлайн-сервис от Tinkoff Bank, который предоставляет клиентам возможность инвестировать в различные финансовые инструменты, включая акции, облигации, фонды, ETF и другие. Широкий выбор активов, удобный интерфейс и наглядная аналитика, и отчетность на платформе делает ее привлекательной для новичков и опытных инвесторов. Онлайн-брокерские компании позволяют инвесторам быстро и легко зарегистрироваться и приступить к торговле [3].
В условиях непредсказуемости и динамичности рынка, возникает потребность в прогностических моделях [4], способных предсказывать изменение цен акций в будущем. Моделирование и прогнозирование цен акций представляет собой сложную многомерную задачу, которая может быть решена с применением различных методов анализа данных и финансовых инструментов. На сегодняшний день существует широкий спектр подходов к предсказанию цен на цифровые активы, который охватывает как традиционные статистические методы, так и передовые алгоритмы машинного обучения [5].
Читать: https://habr.com/ru/articles/815265/
@big_data_analysis
А/В эксперименты. Ускорение вычислений с помощью бакетизации
В данной статье мы рассмотрим, как бакетизация может существенно ускорить вычисления и представим график зависимости отношения времени на расчеты без бакетизации к времени на расчеты с бакетизацией.
Время – деньги!
Читать: https://habr.com/ru/articles/815331/
@big_data_analysis
В данной статье мы рассмотрим, как бакетизация может существенно ускорить вычисления и представим график зависимости отношения времени на расчеты без бакетизации к времени на расчеты с бакетизацией.
Время – деньги!
Читать: https://habr.com/ru/articles/815331/
@big_data_analysis
Разметка данных в Label Studio при помощи GPT-4: интеграция ML Backend
Введение
Получение качественных данных — краеугольный камень любого проекта машинного обучения. Этот процесс, в котором традиционно доминирует трудозатратная разметка данных, часто может превращаться в длительную и дорогостоящую задачу. Но что, если мы сможем воспользоваться прогрессом в развитии больших языковых моделей (LLM) для перехода от разметки данных к проверке разметки?
На сцене появляется GPT-4. Эта система (разработанная на основе GPT-4), имеющая более ста миллионов пользователей — одна из самых популярных языковых моделей.
В предыдущей статье мы показали, как можно ускорить процесс разметки предварительным аннотированием данных при помощи GPT-4. Эта методика позволяет нам загружать готовый к проверке предварительно размеченный датасет, а не выполнять монотонный процесс, начиная с нуля. В этой статье мы продолжим развивать эту тему, оказав, как можно объединить GPT-4 с бэкендом машинного обучения (ML Backend) Label Studio.
При помощи Label Studio ML Backend можно размечать данные непосредственно в Label Studio, что позволяет нам совершить переход от трудозатратной задачи разметки данных к гораздо более эффективному процессу проверки и совершенствования предварительных меток, что существенно ускоряет работу.
Читать: https://habr.com/ru/articles/772974/
@big_data_analysis
Введение
Получение качественных данных — краеугольный камень любого проекта машинного обучения. Этот процесс, в котором традиционно доминирует трудозатратная разметка данных, часто может превращаться в длительную и дорогостоящую задачу. Но что, если мы сможем воспользоваться прогрессом в развитии больших языковых моделей (LLM) для перехода от разметки данных к проверке разметки?
На сцене появляется GPT-4. Эта система (разработанная на основе GPT-4), имеющая более ста миллионов пользователей — одна из самых популярных языковых моделей.
В предыдущей статье мы показали, как можно ускорить процесс разметки предварительным аннотированием данных при помощи GPT-4. Эта методика позволяет нам загружать готовый к проверке предварительно размеченный датасет, а не выполнять монотонный процесс, начиная с нуля. В этой статье мы продолжим развивать эту тему, оказав, как можно объединить GPT-4 с бэкендом машинного обучения (ML Backend) Label Studio.
При помощи Label Studio ML Backend можно размечать данные непосредственно в Label Studio, что позволяет нам совершить переход от трудозатратной задачи разметки данных к гораздо более эффективному процессу проверки и совершенствования предварительных меток, что существенно ускоряет работу.
Читать: https://habr.com/ru/articles/772974/
@big_data_analysis
Задачи и боли пресейл-консультанта
Neoflex – компания-интегратор (некоторые «хаброэксперты» с оттенком пренебрежения называют такие компании «галерами»), которая решает конкретные проблемы заказчиков, занимается прикладной разработкой «под ключ». У нас в работе находится одновременно много проектов на разном стеке и постоянно появляются новые, так что сотрудники обычно не скучают, разгребая годами тонны легаси или разрабатывая очередное широко известное в узких кругах мобильное приложение.
Эта статья, надеюсь, будет интересна тем, кто работает на проектах, но не знает, с чего всё начинается и что предшествует старту проекта. А может быть, вы грустите над своими задачами и хотите присоединиться к команде с более прогрессивными идеями? :)
Чтобы проект успешно завершить, нужно его начать :-). А чтобы начать, нужно его продать. Я вхожу в пресейл-команду внутри центра компетенций Big Data Solutions в качестве технического консультанта (архитектор, разработчик, иногда и системный аналитик) и уже накопил интересный опыт наших «болей» на этом пути пред-продаж и даже разработал с коллегами общий алгоритм действий для подобных команд.
С чего вообще начинается наша работа? Сейлз-менеджеры общаются с действующему и потенциальными заказчиками, если находят что-то по профилю нашего центра компетенций (построение/миграция DataLake/хранилищ или витрин данных и/или BI-отчётности), приходят к нам с более или менее (чаще «менее», чем «более») чётко сформированными требованиями. Центр кометенций назначает одного ответственного за пресейл (пресейл-консультанта), тот запрашивает себе в помощь экспертов от DevOps, аналитики, разработки и тестирования (как правило, пресейл-консультант сам является экспертом в одной из этих областей), возможно, кого-то ещё. Желательно, чтобы эксперты обладали большим проектным опытом и могли посвятить пресейлу несколько следующих дней: сроки на подготовку ответного предложения, как правило, очень сжатые.
Читать: https://habr.com/ru/companies/neoflex/articles/815705/
@big_data_analysis
Neoflex – компания-интегратор (некоторые «хаброэксперты» с оттенком пренебрежения называют такие компании «галерами»), которая решает конкретные проблемы заказчиков, занимается прикладной разработкой «под ключ». У нас в работе находится одновременно много проектов на разном стеке и постоянно появляются новые, так что сотрудники обычно не скучают, разгребая годами тонны легаси или разрабатывая очередное широко известное в узких кругах мобильное приложение.
Эта статья, надеюсь, будет интересна тем, кто работает на проектах, но не знает, с чего всё начинается и что предшествует старту проекта. А может быть, вы грустите над своими задачами и хотите присоединиться к команде с более прогрессивными идеями? :)
Чтобы проект успешно завершить, нужно его начать :-). А чтобы начать, нужно его продать. Я вхожу в пресейл-команду внутри центра компетенций Big Data Solutions в качестве технического консультанта (архитектор, разработчик, иногда и системный аналитик) и уже накопил интересный опыт наших «болей» на этом пути пред-продаж и даже разработал с коллегами общий алгоритм действий для подобных команд.
С чего вообще начинается наша работа? Сейлз-менеджеры общаются с действующему и потенциальными заказчиками, если находят что-то по профилю нашего центра компетенций (построение/миграция DataLake/хранилищ или витрин данных и/или BI-отчётности), приходят к нам с более или менее (чаще «менее», чем «более») чётко сформированными требованиями. Центр кометенций назначает одного ответственного за пресейл (пресейл-консультанта), тот запрашивает себе в помощь экспертов от DevOps, аналитики, разработки и тестирования (как правило, пресейл-консультант сам является экспертом в одной из этих областей), возможно, кого-то ещё. Желательно, чтобы эксперты обладали большим проектным опытом и могли посвятить пресейлу несколько следующих дней: сроки на подготовку ответного предложения, как правило, очень сжатые.
Читать: https://habr.com/ru/companies/neoflex/articles/815705/
@big_data_analysis
Не магия: как агрегируются и обрабатываются данные CDP-платформами
В недавно опубликованной статье CleverData постаралась разгадать, как и почему совершаются спонтанные покупки. Над нашими намерениями круглосуточно работают Customer Data Platforms (CDP) - гибкие платформы накопления данных о пользователях для целей персонализации предложений. Именно поэтому оповещение о скидке на абонемент в спортзал приходит тогда, когда мы вдруг решаем худеть и заказываем доставку диетического питания. Как грамотное применение CDP напрямую влияет на продажи, читайте в нашей новой статье под катом.
Читать: https://habr.com/ru/companies/lanit/articles/814423/
@big_data_analysis
В недавно опубликованной статье CleverData постаралась разгадать, как и почему совершаются спонтанные покупки. Над нашими намерениями круглосуточно работают Customer Data Platforms (CDP) - гибкие платформы накопления данных о пользователях для целей персонализации предложений. Именно поэтому оповещение о скидке на абонемент в спортзал приходит тогда, когда мы вдруг решаем худеть и заказываем доставку диетического питания. Как грамотное применение CDP напрямую влияет на продажи, читайте в нашей новой статье под катом.
Читать: https://habr.com/ru/companies/lanit/articles/814423/
@big_data_analysis
Распознавание именованных сущностей: механизм, методики, сценарии использования и реализация
Естественные языки сложны. А когда на горизонте появляется контекст, они становятся ещё сложнее. Возьмём для примера фамилию Линкольн. Некоторые сразу подумают о шестнадцатом президенте США, выдающейся исторической фигуре. Однако для других это производитель автомобилей с тем же названием. Одно простое слово имеет разные значения.
Мы, люди, без проблем различаем значения и категории. Это свидетельствует о нашем интуитивном понимании окружающего мира. Но когда дело касается компьютеров, эта, казалось бы, простая задача превращается в неоднозначную проблему. Подобные трудности подчёркивают необходимость надёжного распознавания именованных сущностей (named entity recognition, NER) — механизма, при помощи которого мы учим машины понимать различные лингвистические нюансы.
В этой статье мы расскажем о том, что такое NER, о его принципах работы и о том, как оно используется в реальной жизни. Также в ней мы прольём свет на различные методики NER и способы реализации модели NER.
Читать: https://habr.com/ru/articles/776774/
@big_data_analysis
Естественные языки сложны. А когда на горизонте появляется контекст, они становятся ещё сложнее. Возьмём для примера фамилию Линкольн. Некоторые сразу подумают о шестнадцатом президенте США, выдающейся исторической фигуре. Однако для других это производитель автомобилей с тем же названием. Одно простое слово имеет разные значения.
Мы, люди, без проблем различаем значения и категории. Это свидетельствует о нашем интуитивном понимании окружающего мира. Но когда дело касается компьютеров, эта, казалось бы, простая задача превращается в неоднозначную проблему. Подобные трудности подчёркивают необходимость надёжного распознавания именованных сущностей (named entity recognition, NER) — механизма, при помощи которого мы учим машины понимать различные лингвистические нюансы.
В этой статье мы расскажем о том, что такое NER, о его принципах работы и о том, как оно используется в реальной жизни. Также в ней мы прольём свет на различные методики NER и способы реализации модели NER.
Читать: https://habr.com/ru/articles/776774/
@big_data_analysis
СТОП фейковым отзывам и рейтингам. Применение машинного обучения в борьбе с фродом рейтинга и отзывов товаров в ритейле
Приветствуем читателей Хабра! Мы, команда дата-сайентистов и дата-аналитиков компании «ДатаЛаб»* (ГК «Автомакон»), продолжаем рассказывать о насущных проблемах ML-разработки, делимся подходами к их решению и рассуждаем на актуальные темы.
В данной статье мы рассмотрим технические методы применения ML для борьбы с фродом в рейтингах и отзывах товаров в ритейле.
Читать: https://habr.com/ru/companies/automacon/articles/816363/
@big_data_analysis
Приветствуем читателей Хабра! Мы, команда дата-сайентистов и дата-аналитиков компании «ДатаЛаб»* (ГК «Автомакон»), продолжаем рассказывать о насущных проблемах ML-разработки, делимся подходами к их решению и рассуждаем на актуальные темы.
В данной статье мы рассмотрим технические методы применения ML для борьбы с фродом в рейтингах и отзывах товаров в ритейле.
Читать: https://habr.com/ru/companies/automacon/articles/816363/
@big_data_analysis
Managing Access Control for Catalog Items Programmatically in Oracle Analytics Cloud
Analytics users interact with various types of assets such as workbooks, datasets, connections, and more. These assets are stored in the catalog. The administrator is responsible for ensuring the right users and roles have the right level of access to these assets. This article explores how the catalog REST API can help the administrator review and maintain access control.
Read: https://blogs.oracle.com/analytics/post/managing-oracle-analytics-cloud-access-controls-programatically
@big_data_analysis
Analytics users interact with various types of assets such as workbooks, datasets, connections, and more. These assets are stored in the catalog. The administrator is responsible for ensuring the right users and roles have the right level of access to these assets. This article explores how the catalog REST API can help the administrator review and maintain access control.
Read: https://blogs.oracle.com/analytics/post/managing-oracle-analytics-cloud-access-controls-programatically
@big_data_analysis
Oracle
Managing Oracle Analytics Cloud Access Controls Programatically
Analytics users interact with various types of assets such as workbooks, datasets, connections and more. These assets are hosted in the catalog. The service administrator is responsible for ensuring the right users and roles have the right level of access…
Mastering Approaches to Integrate Machine Learning Models in Oracle Analytics Cloud
Oracle Analytics Cloud (OAC) provides various approaches to integrate machine learning models, ensuring flexibility and efficiency in your data analysis processes
Read: https://blogs.oracle.com/analytics/post/approaches-to-integrate-machine-learning-models-in-oracle-analytics-cloud
@big_data_analysis
Oracle Analytics Cloud (OAC) provides various approaches to integrate machine learning models, ensuring flexibility and efficiency in your data analysis processes
Read: https://blogs.oracle.com/analytics/post/approaches-to-integrate-machine-learning-models-in-oracle-analytics-cloud
@big_data_analysis
Oracle
Mastering Approaches to Integrate Machine Learning Models in Oracle Analytics Cloud
Oracle Analytics Cloud (OAC) provides various approaches to integrate machine learning models, ensuring flexibility and efficiency in your data analysis processes
How to Set Up Kubernetes Horizontal Pod Autoscaler in Oracle Cloud Infrastructure with Nginx
You can use Kubernetes Horizontal Pod Autoscaling (HPA) to automatically scale the number of pods in a deployment.
Read: https://blogs.oracle.com/undefined/post/how-to-set-up-kubernetes-horizontal-pod-autoscaler-in-oracle-cloud-infrastructure-with-nginx
@big_data_analysis
You can use Kubernetes Horizontal Pod Autoscaling (HPA) to automatically scale the number of pods in a deployment.
Read: https://blogs.oracle.com/undefined/post/how-to-set-up-kubernetes-horizontal-pod-autoscaler-in-oracle-cloud-infrastructure-with-nginx
@big_data_analysis
How to Set Up Kubernetes Vertical Pod Autoscaler in Oracle Cloud Infrastructure with Nginx
Vertical Pod Autoscaler (VPA) automates the adjustment of resource requests and limits for containers running in pods on a cluster you've created using Container Engine for Kubernetes (OKE).
Read: https://blogs.oracle.com/undefined/post/how-to-set-up-kubernetes-vertical-pod-autoscaler-in-oracle-cloud-infrastructure-with-nginx
@big_data_analysis
Vertical Pod Autoscaler (VPA) automates the adjustment of resource requests and limits for containers running in pods on a cluster you've created using Container Engine for Kubernetes (OKE).
Read: https://blogs.oracle.com/undefined/post/how-to-set-up-kubernetes-vertical-pod-autoscaler-in-oracle-cloud-infrastructure-with-nginx
@big_data_analysis
Load Data from Oracle Enterprise Planning and Budgeting Cloud Service (EPBCS) into Oracle Fusion Analytics
This post demonstrates augmenting Fusion Analytics data using an Enterprise Performance Management (EPM) functional module planning and Budgeting (PBCS) connector.
Read: https://blogs.oracle.com/analytics/post/load-data-from-oracle-enterprise-planning-and-budgeting-cloud-service-epbcs-into-oracle-fusion-analytics
@big_data_analysis
This post demonstrates augmenting Fusion Analytics data using an Enterprise Performance Management (EPM) functional module planning and Budgeting (PBCS) connector.
Read: https://blogs.oracle.com/analytics/post/load-data-from-oracle-enterprise-planning-and-budgeting-cloud-service-epbcs-into-oracle-fusion-analytics
@big_data_analysis
Вопросы и задачи по SQL на собеседованиях 2024: готовьтесь эффективно
В 2024 году вопросы и тестовые задания на собеседованиях не потеряли своей актуальности и продолжают вызывать огромный интерес у соискателей. Если вы сейчас погружены в процесс прохождения интервью, то наверняка сталкиваетесь с множеством непростых, но захватывающих задач.
Давайте вместе рассмотрим некоторые из новых вопросов и задач, которые реально задаются на собеседованиях в различных командах. Эти примеры основаны на моем собственном опыте и актуальны на сегодняшний день. Новые вопросы и задачи будут публиковаться по мере их поступления и прохождения собеседований.
Читать: https://habr.com/ru/articles/816537/
@big_data_analysis
В 2024 году вопросы и тестовые задания на собеседованиях не потеряли своей актуальности и продолжают вызывать огромный интерес у соискателей. Если вы сейчас погружены в процесс прохождения интервью, то наверняка сталкиваетесь с множеством непростых, но захватывающих задач.
Давайте вместе рассмотрим некоторые из новых вопросов и задач, которые реально задаются на собеседованиях в различных командах. Эти примеры основаны на моем собственном опыте и актуальны на сегодняшний день. Новые вопросы и задачи будут публиковаться по мере их поступления и прохождения собеседований.
Читать: https://habr.com/ru/articles/816537/
@big_data_analysis
Машинное обучение: мост между бизнесом и Data Science
Если последние несколько лет вы не жили на далёком острове без электричества и связи, то, вероятно, слышали о машинном обучении. Этот тренд было сложно не заметить. Каждый раз, когда мы говорим о беспилотных автомобилях, чат-ботах, AlphaGo или предиктивной аналитике, упоминается та или иная реализация машинного обучения. Хотя недостатка в историях и евангелистах нет, машинное обучение пока не стало в глазах бизнеса абсолютной необходимостью. В общественном восприятии применяемые в ML алгоритмы близки к научной фантастике, а подготовка конкретного плана внедрения ML по-прежнему остаётся высоким барьером.
Цель этой статьи — практические ответы, а не подготовка видения или продвижение тренда. Мы поговорим о зонтичном термине data science, о взаимосвязи его отраслей, основных задачах, которые может решать машинное обучение, а также о том, как эти задачи можно перевести на язык бизнеса. Также мы обсудим основные решения, которые нужно принять при найме специалистов, и выделим сложности, которые нужно учесть заранее
Читать: https://habr.com/ru/articles/773660/
@big_data_analysis
Если последние несколько лет вы не жили на далёком острове без электричества и связи, то, вероятно, слышали о машинном обучении. Этот тренд было сложно не заметить. Каждый раз, когда мы говорим о беспилотных автомобилях, чат-ботах, AlphaGo или предиктивной аналитике, упоминается та или иная реализация машинного обучения. Хотя недостатка в историях и евангелистах нет, машинное обучение пока не стало в глазах бизнеса абсолютной необходимостью. В общественном восприятии применяемые в ML алгоритмы близки к научной фантастике, а подготовка конкретного плана внедрения ML по-прежнему остаётся высоким барьером.
Цель этой статьи — практические ответы, а не подготовка видения или продвижение тренда. Мы поговорим о зонтичном термине data science, о взаимосвязи его отраслей, основных задачах, которые может решать машинное обучение, а также о том, как эти задачи можно перевести на язык бизнеса. Также мы обсудим основные решения, которые нужно принять при найме специалистов, и выделим сложности, которые нужно учесть заранее
Читать: https://habr.com/ru/articles/773660/
@big_data_analysis
Enable stakeholder data access with Text-to-SQL RAGs
Read: https://www.startdataengineering.com/post/data-democratize-llm/
@big_data_analysis
Read: https://www.startdataengineering.com/post/data-democratize-llm/
@big_data_analysis
Миграция Big Data на практике: как мы готовили напильники
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником.
Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.
Читать: https://habr.com/ru/companies/vtb/articles/816325/
@big_data_analysis
Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracle не решил прекратить развивать это направление бизнеса. Тогда пришлось задуматься об альтернативе, и мы обратились к Arenadata Hadoop. По пути мы столкнулись с некоторыми, так скажем, особенностями: пришлось кое-что допиливать напильником.
Сейчас многие сталкиваются с похожими проблемами импортозамещения продуктов. Так что мы с коллегой, директором проектов службы развития больших данных Дмитрием Власовым, решили написать эту статью, чтобы подсказать решения и предупредить о трудностях.
Читать: https://habr.com/ru/companies/vtb/articles/816325/
@big_data_analysis
Ландшафт Open Source Data Engineering в 2024 году: место России и мировые тенденции
Недавно на Practical Data Engineering Substack вышла статья, посвященная общемировому развитию Open Source дата-инжиниринга, которая может оказаться полезной и для российских специалистов. Мы перевели статью, в полном виде она опубликована здесь (ссылка). А в этом посте мы предлагаем вам наше осмысление результатов этой статьи и State of Data Engineering вместе с собранными нами данными непосредственно по России.
Предыстория
2023 год был примечателен не только всплеском активности в области генеративного ИИ и вокруг продуктов, подобных ChatGPT, но и значительным влиянием на сферу инженерии данных. Появление новейших инструментов и фреймворков открыло перед дата-инженерами целый спектр новых возможностей. Надо уметь выбрать инструмент для решения задачи и этот навык является ключевым для дата-инженера.
Многие известные отчеты, вроде MAD Landscape или State of Data Engineering, предлагают обширный обзор инструментов и сервисов в этой области. Однако основной фокус данного обзора – open-source инструменты, используемые для работы с данными на всех этапах жизненного цикла data-engineering.
Ниже представлены данные об экосистеме data engineering по состоянию на начало на 2024 года:
Читать: https://habr.com/ru/articles/809427/
@big_data_analysis
Недавно на Practical Data Engineering Substack вышла статья, посвященная общемировому развитию Open Source дата-инжиниринга, которая может оказаться полезной и для российских специалистов. Мы перевели статью, в полном виде она опубликована здесь (ссылка). А в этом посте мы предлагаем вам наше осмысление результатов этой статьи и State of Data Engineering вместе с собранными нами данными непосредственно по России.
Предыстория
2023 год был примечателен не только всплеском активности в области генеративного ИИ и вокруг продуктов, подобных ChatGPT, но и значительным влиянием на сферу инженерии данных. Появление новейших инструментов и фреймворков открыло перед дата-инженерами целый спектр новых возможностей. Надо уметь выбрать инструмент для решения задачи и этот навык является ключевым для дата-инженера.
Многие известные отчеты, вроде MAD Landscape или State of Data Engineering, предлагают обширный обзор инструментов и сервисов в этой области. Однако основной фокус данного обзора – open-source инструменты, используемые для работы с данными на всех этапах жизненного цикла data-engineering.
Ниже представлены данные об экосистеме data engineering по состоянию на начало на 2024 года:
Читать: https://habr.com/ru/articles/809427/
@big_data_analysis
High Availability Configuration for SAML 2.0 and Kerberos Single Sign-On in Oracle Analytics Server using Docker Container
High availability configuration for SAML 2.0 and Kerberos Single Sign-On in Oracle Analytics Server using Docker container
Read: https://blogs.oracle.com/analytics/post/oas-ha-saml-kerb-sso-docker
@big_data_analysis
High availability configuration for SAML 2.0 and Kerberos Single Sign-On in Oracle Analytics Server using Docker container
Read: https://blogs.oracle.com/analytics/post/oas-ha-saml-kerb-sso-docker
@big_data_analysis
Oracle
High Availability Configuration for SAML 2.0 and Kerberos Single Sign-On of Oracle Analytics Server using Docker Container
Configuring Multiple Docker Containers for SAML and Kerberos SSO on a Single Host to Support Multiple OAS Environments
Configuring Multiple Docker Containers for SAML and Kerberos SSO on a Single Host to Support Multiple OAS Environments
Read: https://blogs.oracle.com/analytics/post/oas-saml-kerb-docker-host-scalability
@big_data_analysis
Configuring Multiple Docker Containers for SAML and Kerberos SSO on a Single Host to Support Multiple OAS Environments
Read: https://blogs.oracle.com/analytics/post/oas-saml-kerb-docker-host-scalability
@big_data_analysis
Oracle
Configuring Multiple Docker Containers for SAML and Kerberos SSO on a Single Host to Support Multiple OAS Environments
Automation to Configure SAML Single Sign-On for Oracle Analytics Server using Oracle HTTP Server and Shibboleth-SP
Automation to Configure SAML Single Sign-On for Oracle Analytics Server using Oracle HTTP Server and Shibboleth-SP
Read: https://blogs.oracle.com/analytics/post/oas-saml-sso-ohs-shibd-sp
@big_data_analysis
Automation to Configure SAML Single Sign-On for Oracle Analytics Server using Oracle HTTP Server and Shibboleth-SP
Read: https://blogs.oracle.com/analytics/post/oas-saml-sso-ohs-shibd-sp
@big_data_analysis
Oracle
Automation to Configure SAML Single Sign-On for Oracle Analytics Server using Oracle HTTP Server and Shibboleth-SP
Migrating Initialization Block Security Models used in OBIEE 12c to Fusion Middleware Security Models for Oracle Analytics Server
This post describes how to migrate the Initialization Block Security Model used in OBIEE 12c to Fusion Middleware Security Model for Oracle Analytics Server
Read: https://blogs.oracle.com/analytics/post/oas-init-block-security-to-fmw-security-model
@big_data_analysis
This post describes how to migrate the Initialization Block Security Model used in OBIEE 12c to Fusion Middleware Security Model for Oracle Analytics Server
Read: https://blogs.oracle.com/analytics/post/oas-init-block-security-to-fmw-security-model
@big_data_analysis