Ускорьте развёртывание Oracle Analytics с Oracle Cloud Shell
Теперь вы можете за считанные минуты развернуть начальные компоненты для Oracle Analytics с использованием Oracle Cloud Shell и OCI Terraform provider. Этот метод значительно упрощает и ускоряет процесс настройки. Узнайте больше в статье!
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Теперь вы можете за считанные минуты развернуть начальные компоненты для Oracle Analytics с использованием Oracle Cloud Shell и OCI Terraform provider. Этот метод значительно упрощает и ускоряет процесс настройки. Узнайте больше в статье!
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Deploy OCI Identity Components Before Provisioning Oracle Analytics Services
Deploy in minutes the initial components recommended for Oracle Analytics services using Oracle Cloud Shell and the OCI Terraform provider.
Big Data в моде: как мы внедрили 1-to-1 персонализацию в каталоге и поиске
Привет, Хабр! Это Сергей Евстафьев и Дана Злочевская из команды ранжирования и поиска Lamoda Tech. Наша задача — помочь пользователю найти то, что ему нужно, и не потеряться в море доступных вариантов.
В каталоге Lamoda в наличии более полумиллиона модных товаров, однако 95% пользователей не просматривают больше первых 120 карточек. Поэтому в первую очередь важно показывать только самую релевантную подборку, для этого мы развиваем персональное ранжирование каталога. С его помощью каждый пользователь видит свою уникальную выдачу, которая собирается на основе его поведения, популярности товаров и других параметров.
Организовать такое ранжирование можно разными способами. Мы развивались поэтапно: в течение нескольких лет переходили от эвристик к внедрению ML, улучшая пайплайн ранжирования.
В этой статье поподробнее раскроем наш подход.
Читать: https://habr.com/ru/companies/lamoda/articles/840370/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Это Сергей Евстафьев и Дана Злочевская из команды ранжирования и поиска Lamoda Tech. Наша задача — помочь пользователю найти то, что ему нужно, и не потеряться в море доступных вариантов.
В каталоге Lamoda в наличии более полумиллиона модных товаров, однако 95% пользователей не просматривают больше первых 120 карточек. Поэтому в первую очередь важно показывать только самую релевантную подборку, для этого мы развиваем персональное ранжирование каталога. С его помощью каждый пользователь видит свою уникальную выдачу, которая собирается на основе его поведения, популярности товаров и других параметров.
Организовать такое ранжирование можно разными способами. Мы развивались поэтапно: в течение нескольких лет переходили от эвристик к внедрению ML, улучшая пайплайн ранжирования.
В этой статье поподробнее раскроем наш подход.
Читать: https://habr.com/ru/companies/lamoda/articles/840370/
#ru
@big_data_analysis | Другие наши каналы
👍1
5 способов оптимизации функций в Python
Всегда полезно уметь ускорить выполнение кода на python, особенно если мы имеем дело с большими объемами данных или часто вызываемыми функциями.
В этой статье мы рассмотрим 5 простых, но эффективных способов оптимизации функций в Python, которые помогут вам сделать ваш код быстрее и эффективнее.
Ускорить свой код!
Читать: https://habr.com/ru/articles/836644/
#ru
@big_data_analysis | Другие наши каналы
Всегда полезно уметь ускорить выполнение кода на python, особенно если мы имеем дело с большими объемами данных или часто вызываемыми функциями.
В этой статье мы рассмотрим 5 простых, но эффективных способов оптимизации функций в Python, которые помогут вам сделать ваш код быстрее и эффективнее.
Ускорить свой код!
Читать: https://habr.com/ru/articles/836644/
#ru
@big_data_analysis | Другие наши каналы
Как мы построили модель прогнозирования выхода жестких дисков из строя
Неожиданный выход HDD из строя — неприятная для сервера ситуация. Выяснение причин и замена жесткого диска (не всегда это можно сделать «горячим» способом) почти всегда означают даунтайм работы системы. При этом подсказок о своем состоянии HDD не дает, специалисты могут ориентироваться только на время эксплуатации диска и свой опыт.
Меня зовут Владислав Маркин, я инженер по разработке ПО искусственного интеллекта в YADRO. Вместе с моим коллегой, экспертом Андреем Соколовым, мы решили применить возможности ИИ в прогнозировании проблем с HDD. Задача не тривиальная: модели нужны данные для обучения и тренировки, а где их найти — отдельный вопрос.
В статье расскажу, что нам удалось сделать, что стало основой прототипа нашей прогнозной модели и какие результаты она показала в применении для дисков в серверах YADRO.
Читать: https://habr.com/ru/companies/yadro/articles/840264/
#ru
@big_data_analysis | Другие наши каналы
Неожиданный выход HDD из строя — неприятная для сервера ситуация. Выяснение причин и замена жесткого диска (не всегда это можно сделать «горячим» способом) почти всегда означают даунтайм работы системы. При этом подсказок о своем состоянии HDD не дает, специалисты могут ориентироваться только на время эксплуатации диска и свой опыт.
Меня зовут Владислав Маркин, я инженер по разработке ПО искусственного интеллекта в YADRO. Вместе с моим коллегой, экспертом Андреем Соколовым, мы решили применить возможности ИИ в прогнозировании проблем с HDD. Задача не тривиальная: модели нужны данные для обучения и тренировки, а где их найти — отдельный вопрос.
В статье расскажу, что нам удалось сделать, что стало основой прототипа нашей прогнозной модели и какие результаты она показала в применении для дисков в серверах YADRO.
Читать: https://habr.com/ru/companies/yadro/articles/840264/
#ru
@big_data_analysis | Другие наши каналы
🔥2
Уточнение процентилей с помощью полиномиальной аппроксимации
Когда заказчик просит определить процентили для дискретных значений и хочет получить точные значения в виде непрерывных величин, возникает вопрос, возможно ли это. Ответ — да, это возможно, если использовать аппроксимацию.
К статье
Читать: https://habr.com/ru/articles/841170/
#ru
@big_data_analysis | Другие наши каналы
Когда заказчик просит определить процентили для дискретных значений и хочет получить точные значения в виде непрерывных величин, возникает вопрос, возможно ли это. Ответ — да, это возможно, если использовать аппроксимацию.
К статье
Читать: https://habr.com/ru/articles/841170/
#ru
@big_data_analysis | Другие наши каналы
Основные компоненты Data Engineering
Хотите разобраться в основах data engineering? В статье описаны ключевые компоненты: определение требований, проектирование потоков данных, использование оркестраторов и планировщиков, обработка данных, организация кода, проектирование хранилища и мониторинг. Узнайте, как эффективно построить data pipeline.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Хотите разобраться в основах data engineering? В статье описаны ключевые компоненты: определение требований, проектирование потоков данных, использование оркестраторов и планировщиков, обработка данных, организация кода, проектирование хранилища и мониторинг. Узнайте, как эффективно построить data pipeline.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Представлены первые послы Oracle Analytics на 2024 год
Текст: Команда Oracle Analytics представила первых послов на 2024 год. Эти специалисты активно способствуют развитию сообщества, предлагая идеи по улучшению продуктов и сервисов, а также поддерживая других участников. Их вклад заслуживает признания.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Текст: Команда Oracle Analytics представила первых послов на 2024 год. Эти специалисты активно способствуют развитию сообщества, предлагая идеи по улучшению продуктов и сервисов, а также поддерживая других участников. Их вклад заслуживает признания.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Announcing Oracle Analytics Ambassadors of 2024
Быстрое развертывание сетевых компонентов для Oracle Analytics
Хотите развернуть дополнительные сетевые компоненты для Oracle Analytics за считанные минуты? Используйте Oracle Cloud Shell и провайдер OCI Terraform, чтобы существенно упростить этот процесс. Узнайте больше в статье!
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Хотите развернуть дополнительные сетевые компоненты для Oracle Analytics за считанные минуты? Используйте Oracle Cloud Shell и провайдер OCI Terraform, чтобы существенно упростить этот процесс. Узнайте больше в статье!
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Deploy Initial Network Components for Oracle Analytics Services
Deploy in minutes the initial network components for Oracle Analytics services using Oracle Cloud Shell and the OCI Terraform provider.
Как системный аналитик может data-культуру развивать
Всем привет! Я Вера Сапожникова, системный аналитик. В этой статье я расскажу: что такое data governance, какие проблемы поможет решить data governance и как применить data governance на практике.
Сразу хочу оговориться, что data governance – это масштабная, всеобъемлющая область, которая позволяет выстроить процессы и подходы работы с данными на разных уровнях. Поэтому я считаю, что каждый аналитик тоже может влиять на data-культуру и использовать подходы DataGov в масштабе своей команды и в разрезе своих задач.
Читать: https://habr.com/ru/companies/skbkontur/articles/842110/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Я Вера Сапожникова, системный аналитик. В этой статье я расскажу: что такое data governance, какие проблемы поможет решить data governance и как применить data governance на практике.
Сразу хочу оговориться, что data governance – это масштабная, всеобъемлющая область, которая позволяет выстроить процессы и подходы работы с данными на разных уровнях. Поэтому я считаю, что каждый аналитик тоже может влиять на data-культуру и использовать подходы DataGov в масштабе своей команды и в разрезе своих задач.
Читать: https://habr.com/ru/companies/skbkontur/articles/842110/
#ru
@big_data_analysis | Другие наши каналы
Synthetic Minority Oversampling Technique
В datascience все уже знают о важности данных для успеха любого проекта с машинным обучением. Часто бывает, что сами данные представляют собой гораздо большую ценность, чем модель, которая на них обучилась, поскольку процесс получения этих данных может быть гораздо сложнее, опаснее, дороже, чем обучение модели. Поэтому набирает популярность генерация наборов данных, создаются специальные фреймворки. Сегодня речь пойдет об одном из таких фреймворков, SMOTE, или же Synthetic Minority Oversampling Technique. За два последних десятилетия накопилось довольно много материала по этой технике. Ключевое отличие этой статьи в экспериментах, которые проводились в ходе исследования работоспособности такого типа овэрсэмплинга.
Постановка проблемы
Все, кто хоть раз сталкивался с машинным обучением, знакомы с таким понятием как «отсутствие баланса классов». Мало когда встречаются отбалансированные наборы данных, только если мы сами не сделаем себе нужную выборку с балансом. Также, многие наверно слышали, что дисбаланс классов может негативно отражаться на обучении модели, поэтому всегда возникали вопросы о том, как такую проблему решать.
Читать: https://habr.com/ru/articles/842480/
#ru
@big_data_analysis | Другие наши каналы
В datascience все уже знают о важности данных для успеха любого проекта с машинным обучением. Часто бывает, что сами данные представляют собой гораздо большую ценность, чем модель, которая на них обучилась, поскольку процесс получения этих данных может быть гораздо сложнее, опаснее, дороже, чем обучение модели. Поэтому набирает популярность генерация наборов данных, создаются специальные фреймворки. Сегодня речь пойдет об одном из таких фреймворков, SMOTE, или же Synthetic Minority Oversampling Technique. За два последних десятилетия накопилось довольно много материала по этой технике. Ключевое отличие этой статьи в экспериментах, которые проводились в ходе исследования работоспособности такого типа овэрсэмплинга.
Постановка проблемы
Все, кто хоть раз сталкивался с машинным обучением, знакомы с таким понятием как «отсутствие баланса классов». Мало когда встречаются отбалансированные наборы данных, только если мы сами не сделаем себе нужную выборку с балансом. Также, многие наверно слышали, что дисбаланс классов может негативно отражаться на обучении модели, поэтому всегда возникали вопросы о том, как такую проблему решать.
Читать: https://habr.com/ru/articles/842480/
#ru
@big_data_analysis | Другие наши каналы
Какой День программиста без подарков!?
Скорее переходите по ссылке, трясите коробку и забирайте свой презент: https://tprg.ru/eK4n
С профессиональным праздником, дорогие программисты!
Скорее переходите по ссылке, трясите коробку и забирайте свой презент: https://tprg.ru/eK4n
С профессиональным праздником, дорогие программисты!
❤3🔥1
Использование API в FineBI
Привет, Хабр! На связи Business Intelligence GlowByte.
В данной статье разберем основы интеграции FineBI c внешними системами. С помощью публичных методов API можно использовать интерфейс, управлять системой удаленно и автоматизировать бизнес-процессы. Существует несколько способов интеграции публичных API в FineBI, и в зависимости от поставленных задач разработчики должны выбрать, какой способ им более подходит, или комбинировать их между собой. Далее рассмотрим доступные варианты, разберем их отличия и особенности и протестируем некоторые методы в http-клиенте Postman.
Читать: https://habr.com/ru/companies/glowbyte/articles/842842/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! На связи Business Intelligence GlowByte.
В данной статье разберем основы интеграции FineBI c внешними системами. С помощью публичных методов API можно использовать интерфейс, управлять системой удаленно и автоматизировать бизнес-процессы. Существует несколько способов интеграции публичных API в FineBI, и в зависимости от поставленных задач разработчики должны выбрать, какой способ им более подходит, или комбинировать их между собой. Далее рассмотрим доступные варианты, разберем их отличия и особенности и протестируем некоторые методы в http-клиенте Postman.
Читать: https://habr.com/ru/companies/glowbyte/articles/842842/
#ru
@big_data_analysis | Другие наши каналы
Создание data lineage в Apache Atlas из логических планов Spark (не без «костылей»)
В статье обсуждается процесс интеграции Apache Spark с Apache Atlas для визуализации выполнения ETL-процессов на основе построения связей между операциями в Spark. Автор описывает создание пользовательских сущностей в Apache Atlas, таких как Process и DataSet, которые необходимы для отражения трансформаций данных.
Основной фокус статьи заключается в построении графа lineage (происхождения данных) для операций в Spark. Автор выделяет ограничения архитектуры Apache Atlas, например, необходимость наследования от стандартных типов Process и DataSet для корректного отображения lineage. Также описывается создание и отправка новых типов сущностей в Apache Atlas с использованием REST API, а также проблемы, возникающие при попытках обновления сущностей.
Читать: https://habr.com/ru/articles/842718/
#ru
@big_data_analysis | Другие наши каналы
В статье обсуждается процесс интеграции Apache Spark с Apache Atlas для визуализации выполнения ETL-процессов на основе построения связей между операциями в Spark. Автор описывает создание пользовательских сущностей в Apache Atlas, таких как Process и DataSet, которые необходимы для отражения трансформаций данных.
Основной фокус статьи заключается в построении графа lineage (происхождения данных) для операций в Spark. Автор выделяет ограничения архитектуры Apache Atlas, например, необходимость наследования от стандартных типов Process и DataSet для корректного отображения lineage. Также описывается создание и отправка новых типов сущностей в Apache Atlas с использованием REST API, а также проблемы, возникающие при попытках обновления сущностей.
Читать: https://habr.com/ru/articles/842718/
#ru
@big_data_analysis | Другие наши каналы
Инновация от Oracle: Intelligent Data Lake
Oracle представила Intelligent Data Lake, который объединяет услуги OCI Data Lake, OCI Data Catalog и другие в единую среду. Это позволит создавать озёра данных, улучшать аналитические приложения в режиме реального времени и трансформировать данные для комплексной оркестрации.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle представила Intelligent Data Lake, который объединяет услуги OCI Data Lake, OCI Data Catalog и другие в единую среду. Это позволит создавать озёра данных, улучшать аналитические приложения в режиме реального времени и трансформировать данные для комплексной оркестрации.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Telegram
Data Analysis / Big Data
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Новые возможности в Oracle Analytics Cloud
Обновление Oracle Analytics Cloud от сентября 2024 года привнесло ряд новых функций и улучшений. Узнайте, как эти изменения могут улучшить ваш опыт работы с аналитикой и повысить эффективность.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Обновление Oracle Analytics Cloud от сентября 2024 года привнесло ряд новых функций и улучшений. Узнайте, как эти изменения могут улучшить ваш опыт работы с аналитикой и повысить эффективность.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Telegram
Data Analysis / Big Data
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Новые возможности AI в Oracle Analytics
Oracle представила новые функции с поддержкой AI в Oracle Analytics, включая AI Assistant. Эти нововведения помогут как рядовым пользователям, так и аналитикам повысить продуктивность при создании и модификации аналитических проектов. Узнайте больше о современных AI возможностях в Oracle.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle представила новые функции с поддержкой AI в Oracle Analytics, включая AI Assistant. Эти нововведения помогут как рядовым пользователям, так и аналитикам повысить продуктивность при создании и модификации аналитических проектов. Узнайте больше о современных AI возможностях в Oracle.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Telegram
Data Analysis / Big Data
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Новые возможности Fusion Data Intelligence
Текст поста: Ознакомьтесь с обновлениями Fusion Data Intelligence: новые интеллектуальные приложения, расширенные отчеты и помощник разработчика. Эти улучшения расширяют возможности аналитики и делают работу с данными еще более эффективной.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Текст поста: Ознакомьтесь с обновлениями Fusion Data Intelligence: новые интеллектуальные приложения, расширенные отчеты и помощник разработчика. Эти улучшения расширяют возможности аналитики и делают работу с данными еще более эффективной.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Telegram
Data Analysis / Big Data
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Разместить рекламу: @tproger_sales_bot
Правила общения: https://tprg.ru/rules
Другие каналы: @tproger_channels
Новое сообщество Oracle Analytics: больше возможностей для пользователей
Появилось сообщество Oracle Analytics, где пользователи могут найти различные ресурсы: лабораторию идей, карьерный центр, форумы, новости и аналитические материалы. Доступ к этим материалам можно получить в любое время для получения помощи и советов от экспертов.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Появилось сообщество Oracle Analytics, где пользователи могут найти различные ресурсы: лабораторию идей, карьерный центр, форумы, новости и аналитические материалы. Доступ к этим материалам можно получить в любое время для получения помощи и советов от экспертов.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Getting started with the new Oracle Analytics Community!
The new Oracle Analytics Community is providing more resources to the Oracle Analytics users. Users can now browse the idea lab, career hub, industry forum, partner forum, training forum, get the latest news, download the latest analytics assets and discover…
Как работает парламентский график?
Парламентский график – это наглядное и интуитивное представление результатов выборов. Он показывает распределение мест между политическими партиями, упрощая восприятие информации о составе парламента. Узнайте больше о ключевом инструменте для анализа выборов!
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Парламентский график – это наглядное и интуитивное представление результатов выборов. Он показывает распределение мест между политическими партиями, упрощая восприятие информации о составе парламента. Узнайте больше о ключевом инструменте для анализа выборов!
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Visualize Election Outcomes: The Power of Parliament Charts in Oracle Analytics
A Parliament chart is a graphical representation of election outcomes. It provides a clear and intuitive way of displaying the distribution of seats across political parties.
Как растут компании
В прошлой статье мы обсудили кто такой дата-инженер. Давайте теперь обсудим на каком этапе жизненного цикла компании он появляется в команде/компании.
В этой статье вы узнаете как могут развиваться компании и какие роли бывают в ней, и как они влияют на её развитие.
Читать: https://habr.com/ru/articles/841244/
#ru
@big_data_analysis | Другие наши каналы
В прошлой статье мы обсудили кто такой дата-инженер. Давайте теперь обсудим на каком этапе жизненного цикла компании он появляется в команде/компании.
В этой статье вы узнаете как могут развиваться компании и какие роли бывают в ней, и как они влияют на её развитие.
Читать: https://habr.com/ru/articles/841244/
#ru
@big_data_analysis | Другие наши каналы