А вы точно умеете внедрять AI в бизнес?
Короткий гуглинг по теме показывает, что все рекомендации по внедрению ИИ в бизнесе сводятся к общим фразам. «Выделите одно приоритетное направление», «найдите рутинные операции», «проанализируйте доступные данные». Спасибо, кэп. А делать-то что?
Читать: https://habr.com/ru/articles/945648/
#ru
@big_data_analysis | Другие наши каналы
Короткий гуглинг по теме показывает, что все рекомендации по внедрению ИИ в бизнесе сводятся к общим фразам. «Выделите одно приоритетное направление», «найдите рутинные операции», «проанализируйте доступные данные». Спасибо, кэп. А делать-то что?
Читать: https://habr.com/ru/articles/945648/
#ru
@big_data_analysis | Другие наши каналы
В гайдах для начинающих на такие вопросы вряд ли найдется ответ. А вот в телеграм-канале OTP Tech точно найдется наглядный разбор.
В OTP Tech вы получите реальный опыт внедрения сложных решений в продакшен крупного финтеха. Ну и просто фановый интерактив, который поможет разгрузить голову.
Если вы разрабатываете, проектируете или администрируете и хотите смотреть дальше хеллоу ворлдов — вам будет здесь интересно.
Присоединяйтесь: @otp_tech
Please open Telegram to view this post
VIEW IN TELEGRAM
Сквозь эпохи: от хаоса к гармонии, или как мы запросы в Greenplum улучшали
Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии.
В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов».
Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах.
В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉
Читать: https://habr.com/ru/companies/tbank/articles/946450/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии.
В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов».
Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах.
В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉
Читать: https://habr.com/ru/companies/tbank/articles/946450/
#ru
@big_data_analysis | Другие наши каналы
Хитроу внедряет Oracle Fusion Data Intelligence для анализа работы аэропорта, сотрудников и пассажиров. Новая система помогает оптимизировать процессы и улучшить обслуживание, основываясь на данных в реальном времени. Подробнее о инновациях в статье.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Europe’s largest airport makes use of its data to make better business decisions
Heathrow uses Oracle Fusion Data Intelligence to provide insight into its business performance, employees, and passengers
Настройка временных зон в Oracle Fusion Data Intelligence. Во второй части руководства объясняется, как правильно настроить столбцы с датой и временем для пользовательских часовых поясов, что поможет точнее обработать данные в системе.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Part 2: User-Defined Time Zones in Oracle Fusion Data Intelligence - Extending and Bringing It All Together
This article provides a simple guide (part 2) to configuring date time columns for user-defined time zones in Oracle Fusion Data Intelligence
Настройка отображения времени в Oracle Fusion Data Intelligence: в статье объясняют, как правильно сконфигурировать колонки с датой и временем для пользовательских часовых поясов. Руководство поможет упростить работу с данными в разных регионах.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
User Defined Time Zones in Oracle Fusion Data Intelligence Part 1
This article provides a simple guide (part 1) to configuring date time columns for user-defined time zones in Oracle Fusion Data Intelligence
Расширение возможностей Oracle Analytics: теперь встроен алгоритм Prophet от Meta для прогнозирования временных рядов. Это позволит аналитикам получать более точные прогнозы прямо в привычной платформе, упрощая работу с данными.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Forecasting Made Simple: Introducing Prophet in Oracle Analytics
Oracle is expanding the native forecasting toolbox with Prophet, the open-source time-series algorithm originally from Meta, now available directly in Oracle Analytics
Как имена столбцов влияют на анализ данных в Oracle Analytics
В статье рассказывается, как автоматические подсказки имен столбцов в Oracle Analytics помогают создавать понятные и информативные названия, улучшая восприятие данных и качество ответов AI-ассистента. Узнайте, почему это важно.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
В статье рассказывается, как автоматические подсказки имен столбцов в Oracle Analytics помогают создавать понятные и информативные названия, улучшая восприятие данных и качество ответов AI-ассистента. Узнайте, почему это важно.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
AI-Driven Column Names: Where Human Readability Meets AI Understanding
Column names aren’t just labels. In Oracle Analytics, they set the stage for how people — and now the AI Assistant — understand your data. This post explains how automatic column name suggestions help you go from generic placeholders to clear, meaningful…
Запуск Fusion Data Intelligence в Oracle стал важным этапом, подтверждающим эффективность продукта и укрепляющим доверие на рынке. Использование решения внутри компании служит лучшим доказательством его надежности и перспектив развития.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
FDI: Driving Organizational Success At Oracle Through Internal Rollout
Successfully launching Fusion Data Intelligence within Oracle is a critical milestone—not only validating the product’s effectiveness but also laying the foundation for broader market credibility. After all, there’s no better endorsement than using it in…
Интеграция данных из Azure Blob Storage с помощью Fusion Data Intelligence
Статья рассказывает о том, как использовать возможности Fusion Data Intelligence для получения данных из Azure Blob Storage и их объединения с данными приложений Fusion, что расширяет аналитические возможности.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Статья рассказывает о том, как использовать возможности Fusion Data Intelligence для получения данных из Azure Blob Storage и их объединения с данными приложений Fusion, что расширяет аналитические возможности.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Connecting FDI with Azure
Leverage the capabilities of fusion data intelligence to get the data from Azure Blob Storage and integrate it with the fusion applications data
Всем тимлидам, разработчикам, тестировщикам и админам!
Счастливого Дня программиста!
Желаем вам всегда зелёных билдов, отзывчивых кластеров и тихих дежурных смен. Пусть ваши логи будут чисты от ошибок, а мониторинг предупреждает о проблемах раньше, чем о них узнают пользователи.
И чтобы пожелание точно сбылось, обязательно воспользуйтесь подарками из нашей IT-коробки. Готовили с любовью в сердце вместе с нашими друзьями.
С праздником!
Счастливого Дня программиста!
Желаем вам всегда зелёных билдов, отзывчивых кластеров и тихих дежурных смен. Пусть ваши логи будут чисты от ошибок, а мониторинг предупреждает о проблемах раньше, чем о них узнают пользователи.
И чтобы пожелание точно сбылось, обязательно воспользуйтесь подарками из нашей IT-коробки. Готовили с любовью в сердце вместе с нашими друзьями.
С праздником!
👍3
Self-service аналитика для… Excel?
Одним из самых распространенных инструментов для внедрения аналитики является BI инструменты – Tableau, Superset, Datalens и многие другие, десятки их. Это отличные инструменты, но какие бы крутые и сложные визуализации традиционно у каждого из таких инструментов одной из важнейших фич является «Экспорт в Excel» - пользователям нужны выгрузки, детальные данные и т.д. На одном из проектов я обсуждал с заказчиком перспективы развития BI в компании – что уже сделано, что делаем дальше и менеджер задал коварный вопрос: «Артём, дашборды это конечно здорово, но можно ли сделать так, чтобы данные загружались к нам сразу в Excel, причем автоматически». И вот что вы придумали...
Читать: https://habr.com/ru/articles/946572/
#ru
@big_data_analysis | Другие наши каналы
Одним из самых распространенных инструментов для внедрения аналитики является BI инструменты – Tableau, Superset, Datalens и многие другие, десятки их. Это отличные инструменты, но какие бы крутые и сложные визуализации традиционно у каждого из таких инструментов одной из важнейших фич является «Экспорт в Excel» - пользователям нужны выгрузки, детальные данные и т.д. На одном из проектов я обсуждал с заказчиком перспективы развития BI в компании – что уже сделано, что делаем дальше и менеджер задал коварный вопрос: «Артём, дашборды это конечно здорово, но можно ли сделать так, чтобы данные загружались к нам сразу в Excel, причем автоматически». И вот что вы придумали...
Читать: https://habr.com/ru/articles/946572/
#ru
@big_data_analysis | Другие наши каналы
Polars — «убийца Pandas» на максималках
Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными.
В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.
Читать: https://habr.com/ru/articles/946788/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными.
В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.
Читать: https://habr.com/ru/articles/946788/
#ru
@big_data_analysis | Другие наши каналы
❤4👍3🤓2
Скаутинг 2.0: как ИИ и xG находят таланты раньше рынка
Футбол больше не сводится лишь к интуиции и традициям. Теперь это соревнование за то, кто сможет эффективнее использовать данные. От продуманной трансферной стратегии «Брайтона» до работы Луиша Кампуша в ПСЖ — клубы всё активнее обращаются к продвинутой аналитике, чтобы опередить соперников. Это означает использование инструментов на базе искусственного интеллекта, машинного обучения и футбольных данных для более раннего поиска талантов, снижения рисков при трансферах и получения конкурентных преимуществ.
Читать: https://habr.com/ru/articles/947034/
#ru
@big_data_analysis | Другие наши каналы
Футбол больше не сводится лишь к интуиции и традициям. Теперь это соревнование за то, кто сможет эффективнее использовать данные. От продуманной трансферной стратегии «Брайтона» до работы Луиша Кампуша в ПСЖ — клубы всё активнее обращаются к продвинутой аналитике, чтобы опередить соперников. Это означает использование инструментов на базе искусственного интеллекта, машинного обучения и футбольных данных для более раннего поиска талантов, снижения рисков при трансферах и получения конкурентных преимуществ.
Читать: https://habr.com/ru/articles/947034/
#ru
@big_data_analysis | Другие наши каналы
7 SQL-запросов, которые решают 90% всех задач на работе
Каждый день одно и то же. Открываешь клиент базы данных, чтобы что-то проверить, посчитать или найти. И снова пишешь почти тот же
SQL в большинстве случаях не требует сложные 100-строчные запросы с вложенными подзапросами на три уровня глубины. Чаще всего нам нужны простые, отточенные и, главное, эффективные конструкции.
В этой статье я собрал 7 таких запросов-«рабочих лошадок». Это не какой-то там справочник, а готовая шпаргалка для реальных задач.
Читать: https://habr.com/ru/companies/timeweb/articles/943298/
#ru
@big_data_analysis | Другие наши каналы
Каждый день одно и то же. Открываешь клиент базы данных, чтобы что-то проверить, посчитать или найти. И снова пишешь почти тот же
SELECT, что и вчера, с тем же WHERE и JOIN. Знакомо?SQL в большинстве случаях не требует сложные 100-строчные запросы с вложенными подзапросами на три уровня глубины. Чаще всего нам нужны простые, отточенные и, главное, эффективные конструкции.
В этой статье я собрал 7 таких запросов-«рабочих лошадок». Это не какой-то там справочник, а готовая шпаргалка для реальных задач.
Читать: https://habr.com/ru/companies/timeweb/articles/943298/
#ru
@big_data_analysis | Другие наши каналы
👍1
Как избавиться от проприетарных ETL: кейс миграции на dbtt
Несколько лет назад наш корпоративный слой данных жил на проприетарных технологиях. Данных было много, а основная СУБД — MPP-система Sybase IQ — долго не обновлялась. Мы регулярно сталкивались с тем, что у кластера «падали» ноды, каталог базы повреждался, порой даже терялись данные, а вендор не спешил выпускать исправления или даже признавать проблему. ETL-процессы работали через IBM DataStage, который также перестал развиваться. Все решения были закрыты, и мы не могли влиять на их улучшение. Vendor lock-in означает, что вы зависите от поставщика: если вендор не поддерживает нужные возможности, развитие замедляется, а долгоживущие ошибки остаются нерешенными. Такое положение становилось критичным.
Мы поняли, что для устойчивого развития платформы нужно срочно искать альтернативу: переходить на стек, которым мы можем управлять сами. При этом важно было сохранить команду: десятки разработчиков и аналитиков уже работали с существующей моделью. Новому решению следовало быть удобным для аналитиков, прозрачным для бизнеса и гибким для инженеров.
В этой статье рассказываем о том, как мы перешли с проприетарных ETL-инструментов на open-source на базе dbt, какие проблемы решали по ходу внедрения, и как построили экосистему вокруг dbt для автоматизации рутинных задач.
Читать: https://habr.com/ru/companies/gazprombank/articles/947124/
#ru
@big_data_analysis | Другие наши каналы
Несколько лет назад наш корпоративный слой данных жил на проприетарных технологиях. Данных было много, а основная СУБД — MPP-система Sybase IQ — долго не обновлялась. Мы регулярно сталкивались с тем, что у кластера «падали» ноды, каталог базы повреждался, порой даже терялись данные, а вендор не спешил выпускать исправления или даже признавать проблему. ETL-процессы работали через IBM DataStage, который также перестал развиваться. Все решения были закрыты, и мы не могли влиять на их улучшение. Vendor lock-in означает, что вы зависите от поставщика: если вендор не поддерживает нужные возможности, развитие замедляется, а долгоживущие ошибки остаются нерешенными. Такое положение становилось критичным.
Мы поняли, что для устойчивого развития платформы нужно срочно искать альтернативу: переходить на стек, которым мы можем управлять сами. При этом важно было сохранить команду: десятки разработчиков и аналитиков уже работали с существующей моделью. Новому решению следовало быть удобным для аналитиков, прозрачным для бизнеса и гибким для инженеров.
В этой статье рассказываем о том, как мы перешли с проприетарных ETL-инструментов на open-source на базе dbt, какие проблемы решали по ходу внедрения, и как построили экосистему вокруг dbt для автоматизации рутинных задач.
Читать: https://habr.com/ru/companies/gazprombank/articles/947124/
#ru
@big_data_analysis | Другие наши каналы
👍1
Spark Connect. А нужны ли перемены?
Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. Apache Spark давно и прочно занял место одного из ключевых инструментов в арсенале инженеров и дата-сайентистов, работающих с большими данными. Его способность быстро обрабатывать огромные объёмы информации, гибкость за счёт поддержки множества языков (Python, Scala, Java, SQL) и возможность решать самые разнообразные задачи — от сложных ETL до машинного обучения и стриминга — делают его незаменимым инструментом в мире анализа данных.
Читать: https://habr.com/ru/companies/arenadata/articles/921246/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. Apache Spark давно и прочно занял место одного из ключевых инструментов в арсенале инженеров и дата-сайентистов, работающих с большими данными. Его способность быстро обрабатывать огромные объёмы информации, гибкость за счёт поддержки множества языков (Python, Scala, Java, SQL) и возможность решать самые разнообразные задачи — от сложных ETL до машинного обучения и стриминга — делают его незаменимым инструментом в мире анализа данных.
Читать: https://habr.com/ru/companies/arenadata/articles/921246/
#ru
@big_data_analysis | Другие наши каналы
DOOH и RTB: как Russ развивает программатические закупки в наружной рекламе
Привет, Хабр! С вами команда Russtech. Сегодня мы хотим рассказать о работе Russ Programmatic, нашего подразделения, разработавшего систему продажи рекламного инвентаря с помощью аукционов в реальном времени. Программатик в DOOH имеет ряд отличий от традиционного digital-программатика. В этой статье мы обсудим эти ключевые особенности и поделимся нашим опытом внедрения программатических продаж.
Читать: https://habr.com/ru/companies/wildberries/articles/947376/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! С вами команда Russtech. Сегодня мы хотим рассказать о работе Russ Programmatic, нашего подразделения, разработавшего систему продажи рекламного инвентаря с помощью аукционов в реальном времени. Программатик в DOOH имеет ряд отличий от традиционного digital-программатика. В этой статье мы обсудим эти ключевые особенности и поделимся нашим опытом внедрения программатических продаж.
Читать: https://habr.com/ru/companies/wildberries/articles/947376/
#ru
@big_data_analysis | Другие наши каналы
Искусственный интеллект помогает энергокомпаниям анализировать погодные тенденции и точно прогнозировать потребление. Благодаря решениям OAC удаётся оптимизировать производство и обеспечить стабильное энергоснабжение. Узнайте, как это работает.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
AI-Powered Analytics for Utilities: From Forecasting to Smarter Energy Decisions
Discover how OAC’s AI-powered analytics enables utilities to analyze weather-driven consumption trends, forecast demand with confidence, optimize generation, and ensure reliable, efficient energy delivery.
Динамический выбор метрик в Oracle Analytics: как параметры помогают сравнивать данные по годам и кварталам. Такой подход повышает гибкость и информативность дашбордов, делая их удобными для аналитиков и разработчиков. Узнайте подробнее в статье.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Building Parameter-Driven Time Comparisons in Oracle Analytics