Пакетная репликация данных в аналитическом ландшафте ХД
Наполнение данными хранилища или озера, как правило, является первым большим шагом к доступности аналитической среды для основного функционала и работы конечных пользователей. От эффективной реализации этой задачи зависят стоимость и длительность всего проекта по созданию хранилища данных и сроки предоставления отдельных data-сервисов.
В этой публикации я поделюсь опытом реализации пакетной загрузки больших данных в аналитические хранилища и расскажу, когда следует выбрать именно пакетную загрузку, а когда – онлайн-подход. Отдельно раскрою, как многолетний опыт решения подобных задач был воплощен в промышленном инструменте репликации данных.
Читать: https://habr.com/ru/companies/datasapience/articles/908882/
#ru
@big_data_analysis | Другие наши каналы
Наполнение данными хранилища или озера, как правило, является первым большим шагом к доступности аналитической среды для основного функционала и работы конечных пользователей. От эффективной реализации этой задачи зависят стоимость и длительность всего проекта по созданию хранилища данных и сроки предоставления отдельных data-сервисов.
В этой публикации я поделюсь опытом реализации пакетной загрузки больших данных в аналитические хранилища и расскажу, когда следует выбрать именно пакетную загрузку, а когда – онлайн-подход. Отдельно раскрою, как многолетний опыт решения подобных задач был воплощен в промышленном инструменте репликации данных.
Читать: https://habr.com/ru/companies/datasapience/articles/908882/
#ru
@big_data_analysis | Другие наши каналы
Федеративное обучение: потенциал, ограничения и экономические реалии внедрения
Федеративное обучение (Federated Learning, FL) становится всё более заметным элементом технологической повестки в условиях ужесточающихся требований к конфиденциальности данных и законодательных ограничений на их передачу. На прошлой неделе при поддержке канала @noml_community мы поговорили с коллегами (Дмитрий Маслов, Михаил Фатюхин, Денис Афанасьев, Евгений Попов, Роман Постников, Павел Снурницын) о Federated Learning. Получилось неожиданно интересно и полезно. Много говорили о кейсах, чуть меньше - о практических аспектах реализации, особенностях работы с данными и о специфике конфиденциальных вычислений. С большим удовольствием пообщались с коллегами по цеху и основными экспертами этой отрасли.
https://www.youtube.com/watch?v=JpApLfde38I&list=WL&index=1&t=12s
Мой вывод - FL как технология и как предмет сделали большой шаг вперед к тому, что бы технологии и потребности рынка “пересеклись” в точки эффективности и кажется что такой момент уже близко.
Читать: https://habr.com/ru/articles/909014/
#ru
@big_data_analysis | Другие наши каналы
Федеративное обучение (Federated Learning, FL) становится всё более заметным элементом технологической повестки в условиях ужесточающихся требований к конфиденциальности данных и законодательных ограничений на их передачу. На прошлой неделе при поддержке канала @noml_community мы поговорили с коллегами (Дмитрий Маслов, Михаил Фатюхин, Денис Афанасьев, Евгений Попов, Роман Постников, Павел Снурницын) о Federated Learning. Получилось неожиданно интересно и полезно. Много говорили о кейсах, чуть меньше - о практических аспектах реализации, особенностях работы с данными и о специфике конфиденциальных вычислений. С большим удовольствием пообщались с коллегами по цеху и основными экспертами этой отрасли.
https://www.youtube.com/watch?v=JpApLfde38I&list=WL&index=1&t=12s
Мой вывод - FL как технология и как предмет сделали большой шаг вперед к тому, что бы технологии и потребности рынка “пересеклись” в точки эффективности и кажется что такой момент уже близко.
Читать: https://habr.com/ru/articles/909014/
#ru
@big_data_analysis | Другие наши каналы
Как научить ИИ обслуживать клиентов не хуже человека?
Новость о мощи ChatGPT прогремела уже более двух лет назад, однако крупные компании ещё до сих пор полностью не автоматизировали поддержку клиентов. В этой статье разберём на пальцах, какие данные и надстройки нужны для больших языковых моделей, как сделать так, чтобы внедрение было экономически целесообразным и, наконец, что делать с чат-ботами прошлого поколения.
Читать: https://habr.com/ru/companies/alfa/articles/904028/
#ru
@big_data_analysis | Другие наши каналы
Новость о мощи ChatGPT прогремела уже более двух лет назад, однако крупные компании ещё до сих пор полностью не автоматизировали поддержку клиентов. В этой статье разберём на пальцах, какие данные и надстройки нужны для больших языковых моделей, как сделать так, чтобы внедрение было экономически целесообразным и, наконец, что делать с чат-ботами прошлого поколения.
Читать: https://habr.com/ru/companies/alfa/articles/904028/
#ru
@big_data_analysis | Другие наши каналы
LLM-судья: как LLM отсекает правду от лжи?
LLM-as-a-judge — распространённая техника оценки продуктов на основе LLM.
Популярность этой техники обусловлена практичностью: она представляет собой удобную альтернативу дорогостоящей человеческой оценке при анализе открытых текстовых ответов.
Оценивать сгенерированные тексты сложно, будь то «простой» саммари или диалог с чат-ботом. Метрики типа accuracy плохо работают, поскольку «правильный» ответ может быть сформулирован множеством способов, не обязательно совпадающих с образцом. Кроме того, стиль или тон — субъективные характеристики, которые сложно формализовать.
Люди способны учитывать такие нюансы, но ручная проверка каждого ответа плохо масштабируется. В качестве альтернативы появилась техника LLM-as-a-judge: для оценки сгенерированных текстов используются сами LLM. Интересно, что LLM одновременно являются и источником проблемы, и её решением!
Читать: https://habr.com/ru/articles/905728/
#ru
@big_data_analysis | Другие наши каналы
LLM-as-a-judge — распространённая техника оценки продуктов на основе LLM.
Популярность этой техники обусловлена практичностью: она представляет собой удобную альтернативу дорогостоящей человеческой оценке при анализе открытых текстовых ответов.
Оценивать сгенерированные тексты сложно, будь то «простой» саммари или диалог с чат-ботом. Метрики типа accuracy плохо работают, поскольку «правильный» ответ может быть сформулирован множеством способов, не обязательно совпадающих с образцом. Кроме того, стиль или тон — субъективные характеристики, которые сложно формализовать.
Люди способны учитывать такие нюансы, но ручная проверка каждого ответа плохо масштабируется. В качестве альтернативы появилась техника LLM-as-a-judge: для оценки сгенерированных текстов используются сами LLM. Интересно, что LLM одновременно являются и источником проблемы, и её решением!
Читать: https://habr.com/ru/articles/905728/
#ru
@big_data_analysis | Другие наши каналы
👍1
Путь в AI: от студента до инженера, исследователя или разработчика
Привет, Хабр! Меня зовут Анна Щеникова. Я работаю AI-инженером в Центре RnD МТС Web Services и параллельно лидирую магистерскую программу «Исследования и предпринимательство в искусственном интеллекте» ВШЭ. В МТС занимаюсь всем, что связано с моделями: вместе с коллегами тестирую гипотезы про агентов и мультимодельные подходы.
Переход от студенческой жизни к профессиональной деятельности — важный и сложный этап. Это первые серьезные шаги в карьере, первое понимание, как применить полученные знания в реальном бизнесе.
Я прошла этот путь несколько раз: сначала сама, а потом помогая магистрантам в ВШЭ. Так я увидела, какие ключевые точки нужно проработать, чтобы комфортно и весело перейти от теории к реальным бизнес-задачам. В этом посте расскажу о своем опыте перехода к полноценной работе и поделюсь видением того, что будет актуальным в сфере AI в ближайшем будущем. Надеюсь, это поможет кому-нибудь правильно спланировать карьеру.
Читать: https://habr.com/ru/companies/ru_mts/articles/909316/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Меня зовут Анна Щеникова. Я работаю AI-инженером в Центре RnD МТС Web Services и параллельно лидирую магистерскую программу «Исследования и предпринимательство в искусственном интеллекте» ВШЭ. В МТС занимаюсь всем, что связано с моделями: вместе с коллегами тестирую гипотезы про агентов и мультимодельные подходы.
Переход от студенческой жизни к профессиональной деятельности — важный и сложный этап. Это первые серьезные шаги в карьере, первое понимание, как применить полученные знания в реальном бизнесе.
Я прошла этот путь несколько раз: сначала сама, а потом помогая магистрантам в ВШЭ. Так я увидела, какие ключевые точки нужно проработать, чтобы комфортно и весело перейти от теории к реальным бизнес-задачам. В этом посте расскажу о своем опыте перехода к полноценной работе и поделюсь видением того, что будет актуальным в сфере AI в ближайшем будущем. Надеюсь, это поможет кому-нибудь правильно спланировать карьеру.
Читать: https://habr.com/ru/companies/ru_mts/articles/909316/
#ru
@big_data_analysis | Другие наши каналы
Управление отставанием lag в Kafka Consumers: как не просто замерить, а стабилизировать
Привет, Хабр!
Сегодня рассмотрим, почему отставание у Kafka-консьюмеров — это не просто строчка в
Читать: https://habr.com/ru/companies/otus/articles/905804/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр!
Сегодня рассмотрим, почему отставание у Kafka-консьюмеров — это не просто строчка в
kafka-consumer-groups, а метрика, от которой зависит SLA вашего сервиса. Рассмотрим, как её считать без самообмана, как соорудить собственный мониторинг на Python и Go, а главное — чем именно тушить всплески lag’а: throttle, autoscale и backpressure.Читать: https://habr.com/ru/companies/otus/articles/905804/
#ru
@big_data_analysis | Другие наши каналы
Оптимизация Spark-приложений: шаг за шагом от базовых техник до продвинутых приёмов
В этой статье мы делимся опытом оптимизации Spark-кода на реальных задачах: рассказываем, как с помощью ручного и автоматического репартицирования ускорить обработку данных, как правильно настраивать оконные функции и запускать множество небольших Spark-приложений внутри одного процесса для экономии ресурсов.
Привет, Хабр! Меня зовут Александр Маркачев и я — Data Engineer команды Голосовой Антифрод в билайн. Расскажу, как борьба с мошенниками может обернуться личным вызовом.
Все техники сопровождаются объяснениями, примерами и рекомендациями для самостоятельного повторения.
Читать: https://habr.com/ru/companies/beeline_tech/articles/909506/
#ru
@big_data_analysis | Другие наши каналы
В этой статье мы делимся опытом оптимизации Spark-кода на реальных задачах: рассказываем, как с помощью ручного и автоматического репартицирования ускорить обработку данных, как правильно настраивать оконные функции и запускать множество небольших Spark-приложений внутри одного процесса для экономии ресурсов.
Привет, Хабр! Меня зовут Александр Маркачев и я — Data Engineer команды Голосовой Антифрод в билайн. Расскажу, как борьба с мошенниками может обернуться личным вызовом.
Все техники сопровождаются объяснениями, примерами и рекомендациями для самостоятельного повторения.
Читать: https://habr.com/ru/companies/beeline_tech/articles/909506/
#ru
@big_data_analysis | Другие наши каналы
Скрытая стоимость BI: что не учитывают 8 из 10 компаний при внедрении аналитических систем
Почему, по данным экспертов GlowByte, целых 80% проектов внедрения систем бизнес-аналитики выходят за рамки изначально запланированного бюджета? Ответ парадоксально прост и сложен одновременно: компании систематически недооценивают реальную совокупную стоимость владения BI-системами. Наши наблюдения показывают, что большинство заказчиков концентрируются исключительно на очевидных статьях расходов, игнорируя множество "скрытых" факторов, которые неизбежно проявляются по мере развития проекта.
За годы работы с десятками проектов внедрения аналитических систем мы в GlowByte выявили закономерность — даже опытные ИТ-директора порой не учитывают до 40% реальных затрат при планировании бюджета на BI-инициативы. В этой статье я поделюсь инсайтами о наиболее типичных "финансовых ловушках", которые подстерегают компании на этом пути.
Читать: https://habr.com/ru/companies/glowbyte/articles/909656/
#ru
@big_data_analysis | Другие наши каналы
Почему, по данным экспертов GlowByte, целых 80% проектов внедрения систем бизнес-аналитики выходят за рамки изначально запланированного бюджета? Ответ парадоксально прост и сложен одновременно: компании систематически недооценивают реальную совокупную стоимость владения BI-системами. Наши наблюдения показывают, что большинство заказчиков концентрируются исключительно на очевидных статьях расходов, игнорируя множество "скрытых" факторов, которые неизбежно проявляются по мере развития проекта.
За годы работы с десятками проектов внедрения аналитических систем мы в GlowByte выявили закономерность — даже опытные ИТ-директора порой не учитывают до 40% реальных затрат при планировании бюджета на BI-инициативы. В этой статье я поделюсь инсайтами о наиболее типичных "финансовых ловушках", которые подстерегают компании на этом пути.
Читать: https://habr.com/ru/companies/glowbyte/articles/909656/
#ru
@big_data_analysis | Другие наши каналы
Внедрение программного обеспечения Экстрактор 1С в компании Level Group: результаты и перспективы
Компания обратилась к нам для решения задачи по сокращению времени получения данных и оптимизации работы команды разработки 1С.
Level Group – один из ведущих застройщиков бизнес-класса в Москве.
За три года компания утроила свои масштабы, достигнув оборота в 100 миллиардов рублей в 2024 году.
Отличительные черты Level Group – это современные и стильные жилые комплексы, продуманные планировки квартир и оригинальные дизайнерские решения.
Читать: https://habr.com/ru/articles/910256/
#ru
@big_data_analysis | Другие наши каналы
Компания обратилась к нам для решения задачи по сокращению времени получения данных и оптимизации работы команды разработки 1С.
Level Group – один из ведущих застройщиков бизнес-класса в Москве.
За три года компания утроила свои масштабы, достигнув оборота в 100 миллиардов рублей в 2024 году.
Отличительные черты Level Group – это современные и стильные жилые комплексы, продуманные планировки квартир и оригинальные дизайнерские решения.
Читать: https://habr.com/ru/articles/910256/
#ru
@big_data_analysis | Другие наши каналы
Как превратить видеоанализ трафика в информативную панель
Статья рассказывает, как преобразовать данные из OCI Vision Video Analysis в удобную дашборд-систему. Это помогает легко визуализировать важные паттерны и тренды, полученные при анализе дорожного видео.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Статья рассказывает, как преобразовать данные из OCI Vision Video Analysis в удобную дашборд-систему. Это помогает легко визуализировать важные паттерны и тренды, полученные при анализе дорожного видео.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Enhancing Traffic Monitoring with OCI Video Analysis in Oracle Analytics
How to transform raw output from OCI Vision Video Analysis into a powerful, insight-driven dashboard, making it easier to visualize and understand key patterns and trends captured from a traffic analysis video.
Как включить CORS для изображений и видео в Oracle Analytics
В статье подробно рассказывается, как настроить поддержку CORS для медиафайлов в визуализациях Oracle Analytics, чтобы обеспечить корректное отображение и избежать проблем с безопасностью при загрузке контента.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
В статье подробно рассказывается, как настроить поддержку CORS для медиафайлов в визуализациях Oracle Analytics, чтобы обеспечить корректное отображение и избежать проблем с безопасностью при загрузке контента.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Как зарегистрировать и использовать предобученные модели OCI Vision Video в OAC
Статья подробно разбирает процесс регистрации и вызова предобученных моделей OCI Vision Video в Oracle Analytics Cloud. Это поможет ускорить внедрение видеоаналитики и повысить эффективность обработки данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Статья подробно разбирает процесс регистрации и вызова предобученных моделей OCI Vision Video в Oracle Analytics Cloud. Это поможет ускорить внедрение видеоаналитики и повысить эффективность обработки данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Register and Invoke Pretrained Video Models in OAC
How to register and invoke Pretrained OCI Vision Video models in OAC
Как объединить внешние семантические модели в Oracle Fusion Data Intelligence
В статье подробно рассказано, как интегрировать сторонние семантические модели в Oracle Fusion Data Intelligence: подготовка, использование BI Administration Tool, публикация и переход в продакшен. Полезно для команд, сохраняющих аналитические наработки.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
В статье подробно рассказано, как интегрировать сторонние семантические модели в Oracle Fusion Data Intelligence: подготовка, использование BI Administration Tool, публикация и переход в продакшен. Полезно для команд, сохраняющих аналитические наработки.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Merging External Semantic Models into Fusion Data Intelligence (FDI) Semantic Model
Learn how to seamlessly integrate existing OBIA or standalone RPD repositories with the Fusion Data Intelligence (FDI) semantic model. This step-by-step guide walks you through preparing, merging, and validating external applications to ensure smooth interoperability…
Откройте возможности Oracle Analytics Public: как платформа помогает анализировать данные и принимать взвешенные решения. Узнайте, почему этот инструмент становится незаменимым для бизнеса, стремящегося к эффективности и инновациям.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Dive into the Dataverse
Explore the power of Oracle Analytics Public.
Инициатива Oracle для развития сообщества Fusion Data Intelligence
Oracle Analytics Service Excellence команда запускает проект по созданию и распространению повторно используемых ресурсов, чтобы вдохновлять и поддерживать сообщество Fusion Data Intelligence. Подробнее о поддержке совместного развития данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle Analytics Service Excellence команда запускает проект по созданию и распространению повторно используемых ресурсов, чтобы вдохновлять и поддерживать сообщество Fusion Data Intelligence. Подробнее о поддержке совместного развития данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Reusable Workbooks (FDI Artifacts) for Fusion Data Intelligence
An initiative from the Oracle Analytics Service Excellence team to inspire, develop and share reusable artifacts from the Fusion Data Intelligence Community
Oracle Fusion Analytics — готовые решения для аналитики в облаке
Oracle Fusion Analytics предлагает набор предустановленных облачных приложений для анализа данных из Oracle Fusion Cloud. Это позволяет быстро получать полезные инсайты и улучшать принятие решений, а также настраивать аналитику под нужды компании.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle Fusion Analytics предлагает набор предустановленных облачных приложений для анализа данных из Oracle Fusion Cloud. Это позволяет быстро получать полезные инсайты и улучшать принятие решений, а также настраивать аналитику под нужды компании.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Build FDI Reports Smarter and Faster
Oracle Fusion Analytics (Fusion Analytics), a part of the Oracle Fusion Data Intelligence Platform, is a family of prebuilt, cloud-native analytics applications for Oracle Fusion Cloud Applications that provide ready-to-use insights to help you improve decision…
Как создать план тестирования производительности в Apache JMeter для Oracle Analytics Cloud. В статье подробно раскрываются ключевые шаги и рекомендации для эффективного проведения нагрузочного тестирования в облачной аналитике. Полезно для специалистов по тестированию и разработке.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Develop an Apache JMeter Performance Test Plan for Oracle Analytics Cloud
This post guides you in developing an Apache JMeter Performance Test Plan for Oracle Analytics Cloud.
Можно ли оценить эффективность цифровой трансформации или это просто дань моде?
Цифровая трансформация давно перестала быть громким лозунгом — сегодня это рабочий инструмент, от которого зависит выживание и рост компании. В «Росгосстрахе» я отвечаю за управление отчетностью, и наша задача — не просто автоматизировать процессы, а перестроить архитектуру принятия решений. В этом тексте — о том, как мы измеряем цифровую зрелость, зачем это делать и как использовать метрику как компас в непростом ландшафте изменений. Материал будет полезен тем, кто работает с данными, внедряет новые технологии, управляет трансформацией или просто ищет устойчивые опоры в эпоху цифрового сдвига.
Цифровая трансформация — это не про тренды, а про выживаемость. Но прежде чем менять процессы, важно понять: где мы находимся сейчас и куда действительно стоит двигаться. В этом смысле цифровая зрелость — не модное словосочетание, а инструмент навигации. Я расскажу о нашем подходе: какие шаги мы предпринимаем, какие метрики считаем значимыми и как используем их не ради отчётов, а ради движения вперёд.
По сути, мы решаем одну из самых сложных задач — пытаемся измерить сам процесс перехода, его глубину и устойчивость. Это непросто: цифры упрямы, а перемены часто текут не по линейной шкале. Но без этих измерений всё превращается в хаотичную трату ресурсов. Чтобы что-то улучшить, нужно сначала научиться видеть — не просто глазами, а данными.
Что такое цифровая зрелость и зачем её измерять?
Цифровая зрелость — это не абстрактный рейтинг, а срез состояния компании в моменте: насколько глубоко технологии проникают в процессы, насколько органично они встроены в стратегию, управленческие практики и ежедневные решения. Это не про количество IT-систем, а про то, как устроена ткань бизнеса — от культуры до архитектуры данных.
Читать: https://habr.com/ru/companies/rgs_it/articles/910094/
#ru
@big_data_analysis | Другие наши каналы
Цифровая трансформация давно перестала быть громким лозунгом — сегодня это рабочий инструмент, от которого зависит выживание и рост компании. В «Росгосстрахе» я отвечаю за управление отчетностью, и наша задача — не просто автоматизировать процессы, а перестроить архитектуру принятия решений. В этом тексте — о том, как мы измеряем цифровую зрелость, зачем это делать и как использовать метрику как компас в непростом ландшафте изменений. Материал будет полезен тем, кто работает с данными, внедряет новые технологии, управляет трансформацией или просто ищет устойчивые опоры в эпоху цифрового сдвига.
Цифровая трансформация — это не про тренды, а про выживаемость. Но прежде чем менять процессы, важно понять: где мы находимся сейчас и куда действительно стоит двигаться. В этом смысле цифровая зрелость — не модное словосочетание, а инструмент навигации. Я расскажу о нашем подходе: какие шаги мы предпринимаем, какие метрики считаем значимыми и как используем их не ради отчётов, а ради движения вперёд.
По сути, мы решаем одну из самых сложных задач — пытаемся измерить сам процесс перехода, его глубину и устойчивость. Это непросто: цифры упрямы, а перемены часто текут не по линейной шкале. Но без этих измерений всё превращается в хаотичную трату ресурсов. Чтобы что-то улучшить, нужно сначала научиться видеть — не просто глазами, а данными.
Что такое цифровая зрелость и зачем её измерять?
Цифровая зрелость — это не абстрактный рейтинг, а срез состояния компании в моменте: насколько глубоко технологии проникают в процессы, насколько органично они встроены в стратегию, управленческие практики и ежедневные решения. Это не про количество IT-систем, а про то, как устроена ткань бизнеса — от культуры до архитектуры данных.
Читать: https://habr.com/ru/companies/rgs_it/articles/910094/
#ru
@big_data_analysis | Другие наши каналы
Как я удалил clickstream, но его восстановили из небытия
Всем привет! Я Дмитрий Немчин из Т-Банка. Расскажу не очень успешную историю о том как я удалил данные и что из этого вышло.
В ИТ я больше 12 лет, начинал DBA и разработчиком в кровавом энтепрайзе с Oracle. В 2015 году познакомился с Greenplum в Т, да так тут и остался. С 2017 года стал лидить команду, потом все чуть усложнилось и команда стала не одна. Возможно, вы меня могли видеть как организатора Greenplum-митапов в России.
Но команда командой, менеджмент менеджментом, а руки чешутся..
Читать: https://habr.com/ru/companies/tbank/articles/910030/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Я Дмитрий Немчин из Т-Банка. Расскажу не очень успешную историю о том как я удалил данные и что из этого вышло.
В ИТ я больше 12 лет, начинал DBA и разработчиком в кровавом энтепрайзе с Oracle. В 2015 году познакомился с Greenplum в Т, да так тут и остался. С 2017 года стал лидить команду, потом все чуть усложнилось и команда стала не одна. Возможно, вы меня могли видеть как организатора Greenplum-митапов в России.
Но команда командой, менеджмент менеджментом, а руки чешутся..
Читать: https://habr.com/ru/companies/tbank/articles/910030/
#ru
@big_data_analysis | Другие наши каналы
Почему Apache Spark становится ядром аналитических платформ в России: тренды, особенности и прогнозы для бизнеса
Эксперты компании «Криптонит» проанализировали главные тренды использования Apache Spark в бизнесе, выделили особенности его применения в России и спрогнозировали дальнейшее развитие на основе выявленных тенденций.
Растущая востребованность Spark объясняется не только открытым исходным кодом и гибкостью, но и лёгкостью интеграции с современными технологиями — от машинного обучения до облачных платформ.
«В России Apache Spark становится не просто популярным фреймворком для обработки данных, а частью экосистемы отечественных решений в сфере Big Data. Особенно это касается объектов критической инфраструктуры, где всегда отдаётся предпочтение только самым надёжным и проверенным решениям», — пояснил Иван Попович, руководитель направления обработки данных компании «Криптонит».
Для критически важных отраслей (госуправление, финансы, энергетика) важна локализация данных и соответствие требованиям регуляторов.
«Открытый исходный код здесь играет ключевую роль, так как обеспечивает прозрачность и возможность тщательной верификации. Также он даёт уникальную возможность адаптировать решение под конкретные требования проекта. Хотя само по себе наличие открытого кода не является гарантией безопасности, Apache Spark за 15 лет своего развития доказал эффективность и надёжность в самых различных областях применения», — добавил эксперт.
В последние годы Spark проникает в новые сферы. Он всё активнее используется в агропромышленном комплексе, энергетике, нефтегазовой и химической отрасли. В основном его применяют для оптимизации производства, прогнозирования аварий и повышения энергоэффективности.
Читать: https://habr.com/ru/companies/kryptonite/articles/910976/
#ru
@big_data_analysis | Другие наши каналы
Эксперты компании «Криптонит» проанализировали главные тренды использования Apache Spark в бизнесе, выделили особенности его применения в России и спрогнозировали дальнейшее развитие на основе выявленных тенденций.
Растущая востребованность Spark объясняется не только открытым исходным кодом и гибкостью, но и лёгкостью интеграции с современными технологиями — от машинного обучения до облачных платформ.
«В России Apache Spark становится не просто популярным фреймворком для обработки данных, а частью экосистемы отечественных решений в сфере Big Data. Особенно это касается объектов критической инфраструктуры, где всегда отдаётся предпочтение только самым надёжным и проверенным решениям», — пояснил Иван Попович, руководитель направления обработки данных компании «Криптонит».
Для критически важных отраслей (госуправление, финансы, энергетика) важна локализация данных и соответствие требованиям регуляторов.
«Открытый исходный код здесь играет ключевую роль, так как обеспечивает прозрачность и возможность тщательной верификации. Также он даёт уникальную возможность адаптировать решение под конкретные требования проекта. Хотя само по себе наличие открытого кода не является гарантией безопасности, Apache Spark за 15 лет своего развития доказал эффективность и надёжность в самых различных областях применения», — добавил эксперт.
В последние годы Spark проникает в новые сферы. Он всё активнее используется в агропромышленном комплексе, энергетике, нефтегазовой и химической отрасли. В основном его применяют для оптимизации производства, прогнозирования аварий и повышения энергоэффективности.
Читать: https://habr.com/ru/companies/kryptonite/articles/910976/
#ru
@big_data_analysis | Другие наши каналы
🔥1