Всем привет! 24 апреля в Москве в офисе Лемана Тех пройдет очередной митап по технологиям Trino и Apache Iceberg! Также будет доступна онлайн-трансляция.

В программе:
- Доклад от Лемана Тех про миграцию на Trino
- Доклад от Азбуки Вкуса про использование каталога Nessie
- Круглый стол про проблемы внедрения lakehouse с инженерами T-Банк, S7 Airlines, Лемана Тех и Кверифай Лабс

Регистрация по ссылке: https://cedrusdata.timepad.ru/event/3299844/

Всем привет. Мы рады представить минорный релиз CedrusData 458-8, основной задачей которого было нарастить возможности pushdown некоторых востребованных функций в коннекторах ClickHouse и Greenplum. Изменения (совместно с предыдущей версией 458-7):

Общее:
- Увеличена версия Apache Parquet до 1.15.1 (предотвращение критической уязвимости CVE-2025-30065)

Коннектор ClickHouse:
- Добавлена возможность pushdown строковых функций trim, ltrim, rtrim, strpos, position

Коннектор Greenplum:
- Добавлена возможность pushdown строковых функций trim, ltrim, rtrim, strpos, position, starts_with
- Добавлена возможность pushdown математических функций abs, sign, sqrt, cbrt, degrees, radians, exp, ln, log2, log10

Коннектор Iceberg:
- Добавлена возможность передачи статических ключей S3 в CedrusData Catalog через механизм extra credentials

Коннектор Kafka:
- Добавлена возможность разрешения конфликтов, когда ключ и сообщение топика имеют поля с одинаковыми именами

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-8/release/release-458-8.html

Всем привет. Мы рады представить минорный релиз CedrusData 458-9: улучшения алгоритма планирования порядка Join, инфраструктура для table maintenance в Iceberg, авторизация в Apache Ranger через политики Hive, статистики ClickHouse, расширенный pushdown в Greenplum и ClickHouse.

Общее:
- Улучшен алгоритм планирования порядка Join. Теперь CedrusData выбирает предельный размер графа Join для cost-based планирования динамически на основе оценки сложности графа. Пользователи могут ожидать улучшение планов сложных запросов, которые до этого оптимизатору приходилось планировать путем разбиения на независимые подграфы
- Улучшен алгоритм упрощения OUTER JOIN. Теперь CedrusData заменяет FULL OUTER JOIN на LEFT/RIGHT OUTER JOIN и далее на INNER JOIN для более широкого спектра запросов

Коннекторы Hive и Iceberg:
- Добавлена возможность авторизации через политики Hive в Apache Ranger. Теперь вы можете переиспользовать существующие политики Hive в Apache Ranger для авторизации действий пользователей CedrusData без установки дополнительных плагинов в Apache Ranger

Коннектор ClickHouse:
- Добавлена поддержка статистик. Теперь оптимизатор может выбирать оптимальный порядок Join при выполнении федеративных запросов к ClickHouse
- Добавлена возможность pushdown строковых функций concat, length, reverse, replace, translate и lpad/rpad
- Добавлена возможность pushdown математических функций abs, sign, sqrt, cbrt, pow, degrees, radians, exp, ln, log2, log10, ceiling, floor, round и truncate

Коннектор Greenplum:
- Добавлена возможность pushdown математических функций ceiling, floor, round и truncate

CedrusData Catalog:
- Подготовлена инфраструктура для автоматического maintenance таблиц Iceberg. В следующей версии мы опубликуем официальный API для maintenance

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-9/release/release-458-9.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-9/release/release-458-9.html

Трансляция Lakehouse митапа в Лемана Про:
- YouTube: https://www.youtube.com/live/r70FGQWdEvc
- VK: https://vk.com/video-230133731_456239017

Всем привет. Мы рады представить релиз CedrusData 458-10: продвинутый time-travel в Iceberg, поддержка maintenance операций и разграничений доступа к объектам в CedrusData Catalog

Коннектор Iceberg:
- ❗️Добавлена поддержка продвинутого time travel при работе с CedrusData Catalog. Теперь вы можете задать единую метку времени в параметре сессии, которая будет использована всеми таблицами в запросе. Таким образом вы получаете возможность работы с предыдущими состояниями таблиц Iceberg без необходимости переписывания запросов и перезапуска продукта
- Добавлена поддержка Kerberos при авторизации через Apache Ranger

Коннектор Hive:
- Добавлена поддержка Kerberos при авторизации через Apache Ranger

CedrusData Catalog:
- ❗️Добавлена поддержка maintenance операций над таблицами Iceberg. Пользователи CedrusData Catalog теперь могут выполнять операции expire-snapshots и remove-orphan-files над индивидуальными объектами или группами объектов. В следующей версии будет добавлена поддержка запуска maintenance операций по расписанию
- ❗️Добавлена поддержка продвинутого time travel. При работе из CedrusData, Apache Spark, Apache Flink и ряда других продуктов вы теперь можете задавать единую метку времени, которая будет использована для выбора целевого состояния таблиц и представлений Iceberg во всех запросах. Пользователи данных движков получают удобный способ работы с предыдущими состояниями объектов без необходимости переписывания запросов и задания меток времени для индивидуальных таблиц. В первой версии поддерживаются только операции SELECT, в июньской версии будет добавлена поддержка DML и DDL операций, что позволит заместить аналогичный функционал Nessie более легковесным и удобным решением
- Добавлена поддержка разграничений доступа к объектам на основе того, кто является их владельцем (aka DAC - Discretionary Access Control). Это финальный шаг перед внедрением промышленного RBAC, появление которого мы ожидаем в конце июня

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-10/release/release-458-10.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-10/release/release-458-10.html

Всем привет. Коллеги из Лемана Тех опубликовали на Хабре статью по мотивам прошедшего lakehouse-митапа: https://habr.com/ru/companies/lemana_tech/articles/909542/

Всем привет! В следующий четверг 26 июня мы проведем очередной онлайн-митап по lakehouse технологиям. В программе два доклада:

Trino в Авито спустя два года: от движка к аналитической экосистеме, Дмитрий Рейман, Авито
Как Авито построил lakehouse-платформу на основе Trino, которая обрабатывает до 1 ПБ данных в день и обслуживает 300 пользователей

CedrusData Catalog — Современный каталог для lakehouse-платформ, Владимир Озеров, Кверифай Лабс
Архитектура и возможности CedrusData Catalog — бесплатного каталога Iceberg для российского рынка. Ролевая модель доступа, обслуживание таблиц Iceberg, time-travel, ускорение аналитических запросов.

Регистрация: https://cedrusdata.timepad.ru/event/3426242/

Всем привет. Мы рады представить релиз CedrusData 458-12. Последние два месяца мы были сосредотоены на новом функционале каталога: ролевая модель доступа к объектам Iceberg, запуск maintenance операций Iceberg по расписанию, web-интерфейс CedrusData Catalog

Iceberg:
- ❗️Добавлена ролевая модель доступа к объектам Iceberg. Пользователи CedrusData Catalog теперь могут задавать права доступа, которые будут универсально применены ко всем движкам, работающим с данными Iceberg. Решение позволяет избавиться от необходимости использования сторонних решений для управления доступом
- ❗️Добавлена поддержка запуска maintenance операций по расписанию. Теперь вы можете задать cron выражение, после чего CedrusData Catalog начнет периодически обслуживать объекты Iceberg без необходимости использования внешних оркестраторов
- ❗️CedrusData Catalog получил новый современный web-интерфейс

SQL Server:
- Добавлена поддержка pushdown типа данных UNIQUEIDENTIFIER

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-12/release/release-458-12.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-12/release/release-458-12.html

Новый митап по Lakehouse уже в работе!

Ищем тех, кто готов рассказать про свой опыт использования Trino и Iceberg. Напишите о своем кейсе здесь.

Кстати, поддержать развитие канала и чата могут подписчики с Telegram Premium, отдав свой голос за нас.
Ждем вашей поддержки 🙏

Будем рады встретиться на конференции Smart Data уже в это воскресенье!

Владимир Озеров расскажет о перспективах развития Apache Iceberg:

🔹Планы развития (v3, безопасность, материализованные представления, scan planning, статистики и т. п.).
🔹Изменение роли REST-каталогов в экосистеме Iceberg.
🔹Вызовы и конкурентный ландшафт (near-real time сценарии, конкуренция с Paimon/Delta/DuckLake и т. п.).
🔹Состояние сообщества и его влияние на скорость развития и долгосрочные перспективы Apache Iceberg.

А пока делимся записью его прошлого выступления

Вы нас просили — мы сделали: настоящий бенчмарк lakehouse-движков!

Шесть конкурсантов:
клан Presto (CedrusData, Presto, Trino) против клана Impala (Doris, Impala, StarRocks).
DuckDB в качестве арбитра.

🏆Победит сильнейший, остальные отправятся на свалку истории! Правда, будет только один SQL-запрос, один узел и много database internals.

Обсудили тренд на Native Execution в Data Engineering инструментах и, в частности, потенциал C++ библиотеки Velox для ускорения Presto, Spark и других аналитических систем. Рассмотрели основные и наиболее зрелые на текущий момент интеграции этой библиотеки с существующими популярными OLAP-/ ML-системами.

Каждая компания сегодня живёт в зоопарке технологий: данные хранятся в десятках источников (от PostgreSQL до S3), а запросы приходится собирать из кусочков SQL, Python и R. Между ними — стена несовместимых диалектов, потерянных оптимизаций и бесконечных конекторов. Substrait предлагает элегантное решение — единый универсальный язык описания запросов, понятный и аналитическим DSL, и движкам исполнения.
Substrait превращает SQL-строки в переносимые планы, избавляя от боли диалектов и давая возможность свободно комбинировать системы — от DuckDB и Velox до Spark и DataFusion. Это шаг к экосистеме, где любой frontend может говорить с любым backend без потери смысла и производительности.

Всем привет
9 декабря состоится десятый митап сообщества разработчиков СУБД Database Internals

В рамках мероприятия мы представим доклад, посвященный разработке акселератора запросов Trino на основе Rust, Apache Arrow и DataFusion.

Митап пройдет в рамках ежегодной конференции ИСП РАН на площадке кластера «Ломоносов». Также доступен онлайн формат.

Для участия необходимо зарегистрироваться на официальном сайте ИСП РАН до 6 декабря.

В 16:00 начинаем доклад про переписывание ядра Trino на Rust.

Ссылки на трансляции доступны на странице Database Internals Meetup #10: https://databaseinternals.timepad.ru/event/3698395/

План на сегодня: гирлянды, мандарины и… миграция DWH 🍾

Пока мир делится итогами, мы нашли идеальный материал для последнего рабочего дня этого года. Статья Дмитрия Реймана из Авито «Есть ли жизнь после Vertica или миграция DWH в Lakehouse»

Мы переписали ядро Trino с Java на Rust!

В новой статье рассказываем, почему выбрали Rust и DataFusion в качестве основы решения, с какими сложностями столкнулись и какие очевидные (и неочевидные) преимущества получили в результате.