🎉 Анонс Trino бар Summit! 🍻✨

Всем привет! В эту пятницу коллеги из S7 спонтанно организуют посиделки в баре для обсуждения итогов Trino Summit и других идей! 🎤💡Приглашаем всех желающих. Будет здорово провести вечер вместе, обменяться впечатлениями и просто хорошо провести время.

📅 Когда: в эту пятницу, 14 июня, вечер после 18:00, точное время согласуем
📍 Где: Москва, точное место будет определено в зависимости от вашей реакции и сообщено отдельно

Пожалуйста, отметьтесь в реакции:
🔥 - если вы готовы присоединиться к коллегам из S7 и придете! (будем ориентироваться на это число при бронировании, но в разумных пределах)
🤷‍♂️ - если собираетесь присоединиться, но не уверены, что у вас получится

По всем вопросам организации можно обращаться к @YuriyGavrilov

Не пропустите отличный вечер с друзьями и коллегами! 🍹🥳

Коллеги, привет. Задача канала - приносить пользу сообществу. Мы против огульной и навязчивой рекламы. Но если есть конкретный запрос и конкретный ответ, нет ничего плохого в том, чтобы это обсудить в канале. Команда Евгения делает ровно то, о чем спросил Андрей. Никаких проблем со стороны канала нет.

Всем привет. Мы рады представить релиз CedrusData 442-4!

Данный релиз значительно улучшает pushdown вычислений для Greenplum коннектора за счет добавления возможности pushdown сложных выражений. Например, с данными изменениями CedrusData теперь может сделать pushdown запроса TPC-DS 07 целиком (https://github.com/gregrahn/tpcds-kit/blob/master/query_templates/query7.tpl#L41-L58), и получить из Greenplum готовый результат агрегации. Для этого же запроса Trino сможет сделать pushdown только фильтров и Join-ов, но финальная агрегация большой таблицы фактов будет проиходить внутри Trino, существенно снижая производительность, так как в плане запроса присутствуют промежуточные вычисления (оператор Projection с функцией CAST), которые Trino не может запушить. Документация: https://docs.cedrusdata.ru/latest/connector/greenplum.html#greenplum-expression-pushdown

Эти и смежные оптимизации направлены на ускорение распространенного сценария выполнения сложных запросов, объединяющих данные между data lake и хранилищем. В ближайших релизах мы добавим поддержку данной оптимизации в ряд других популярных коннекторов, таких как Postgres, ClickHouse и Vertica.

Всем привет. Мы рады представить релиз CedrusData 442-5! Release notes: https://docs.cedrusdata.ru/latest/release/release-442-5.html

В новую версию добавлено два важных улучшения: автоматическое удаление из запросов ненужных операторов Join (join pruning) и возможность быстрой работы с Greenplum через протокол GPFDIST.

Автоматическое удаление операторов Join востребовано в сценариях, когда присутствует запрос с большим количеством Join, но реально используются только некоторые колонки. Такое часто возникает при работе с BI или схемами данных с большим количеством виртуальных представлений (например, Anchor или Data Vault). В новой версии мы научили оптимизатор определять операторы Join, которые могут быть безопасно удалены из запроса. Для работы данной оптимизации вам придется вручную указать констрейнты, которые де-факто определены на ваших таблицах. В будущих версиях мы научим движок получать констрейнты из коннекторов (Hive Metastore, Iceberg Catalog, JDBC). Документация: https://docs.cedrusdata.ru/latest/admin/properties-optimizer.html#cedrusdata-optimizer-join-pruning-enabled

Многим пользоватлям CedrusData и Trino важна возможность быстрого чтения и записи данных из/в Greenplum. Ранее мы предложили ряд оптимизаций для быстрого чтения данных из Greenplum, которые тем не менее были применимы только к некоторым ситуациям. В новом релизе мы научили CedrusData общаться с сегментами Greenplum напрямую через протокол GPFDIST, минуя master-узел. Результатом данного улучшения является многократное увеличение скорости чтения и записи данных при работе с Greenplum. Среди прочего, теперь вы сможете еще быстрее мигрировать ваши приложения с Greenplum на современный стек CedrusData/Iceberg/S3 🙂. Документация: https://docs.cedrusdata.ru/latest/connector/greenplum.html#gpfdist

В следующих версиях мы опубликуем первую версию собственного Iceberg REST Catalog, заточенного на быструю работу с CedrusData. Кроме того, мы начали работу над ускорением работы с ClickHouse, и в скором времени в продукте появятся продвинутый pushdown вычислений в ClickHouse по аналогии с тем, как мы уже это сделали для Greenplum в версии 442-4.

Коллеги, привет. Делаем крайне запоздалый анонс дружественного мероприятия.

Сегодня в 18:00 состоится очередной митап российского сообщества разработчиков СУБД Database Internals. Будет доклад про Sphinx от Авито, и про материализованные представления Greenplum и проекции Vertica от Яндекс. Зарегистрироваться на онлайн участие можно по ссылке: https://databaseinternals.timepad.ru/event/3003674/

Если вы интересуетесь вопросами устройства СУБД и движков, присоединяетесь к сообществу разработчиков СУБД: t.iss.one/databaseinternalschat

Всем привет! В следующий четверг 24.10.2024 состоится DATA.Meetup 2024 от Сбера, на котором будут доклады про Trino и Iceberg. Обсудим наши любимые технологии в неформальной обстановке. Возможно офлайн и онлайн участие, регистрация обязательна. Для офлайн участия необходимо пройти регистрацию до начала следующей недели. Будем рады вас видеть!

Всем привет!

Выложены записи и презентации докладов митапа DataMeetup! https://developers.sber.ru/kak-v-sbere/events/data_meetup_october
Если у вас остались вопросы по работе Trino, Flink в Сбере, можете обращаться к @Slider_Ivan.

Благодарим вас за участие!

Обещанного три года ждут. Мы выпустили первую версию CedrusData Catalog — технического каталога для аналитических платформ. Поддержка Iceberg REST API, файловых систем S3 и HDFS. Безопасность и мониторинг. Начало работы и инуструкции по интеграции с популярными движками: https://docs.cedrusdata.ru/catalog/latest/index.html. Рассказываем подробнее о продукте в нашем блоге: https://www.cedrusdata.ru/blog/cedrusdata-catalog-novyy-tehnicheskiy-katalog-s-podderzhkoy-iceberg-rest-api

11 декабря с 13:00 до 19:00 в Москве в кластере Ломоносов пройдет пятый митап "Database Internals Meetup". Будем говорить про внутреннее устройство CedrusData, YDB, Picodata, Tarantool и openGauss. По CedrusData будет затронута тема автоматического переписывания запросов на материализованные представления. Подробное описание программы: https://databaseinternals.timepad.ru/event/3132404/

Митап будет частью крупной конференции ИСП РАН, так что кроме баз данных можно будет послушать доклады про механику сплошных сред 🤓, лингвистические системы анализа 🤓, и многое другое. Участие в митапе и конференции бесплатное, но необходимо обязательно пройти регистрацию до 7 декабря на сайте ИСП РАН: https://www.isprasopen.ru/#Registration

Будем рады вас увидеть!

Всем привет! Начинается большая секция Database Internals. 5 докладов от ведущих российских разработчиков СУБД.

В 17:30 будет доклад от разработчиков CedrusData об интеграции автоматического переписывания запросов на материализованные представления в оптимизатор Trino.

В 16:30 будет круглый стол по модульным оптимизаторам. В том числе будут затронуты некоторые аспекты текущих дискуссий в сообществе Apache Iceberg о реализации cross-engine views (напр., записали из Trino, прочитали в Spark), и проблем современных оптимизаторов (например, почему Cloudera пытается переписать с нуля оптимизатор Impala).

Трансляция доступна по ссылке: https://vk.com/video-226977842_456239020

Всем привет. Мы рады представить релиз CedrusData 458-2! Рассказываем о ключевых изменениях.

Веб-интерфейс:
- Администраторы теперь могут управлять политиками доступа из UI

Оптимизатор:
- Новый современный cost-based алгоритм планирования порядка JOIN, который анализирует больше альтернативных планов и делает это значительно быстрее оригинального алгоритма Trino
- Улучшенный расчет статистик для фильтров, агрегатов, window-функций и JOIN. До этого оптимизатор использовал оригинальную стратегию расчета статистик Trino, в которой выбор оптимального порядка JOIN часто не происходит из-за невозможности расчета статистик данных операторов
- Добавили оптимизацию, которая упрощает OUTER JOIN на INNER JOIN в некоторых случаях. В следующем релизе оптимизация будет доработана, чтобы упрощать OUTER JOIN во всех возможных случаях

Материализованные представления:
- Добавили возможность автоматического переписывания запросов на материализованные представления, содержащие JOIN
- Добавили возможность автоматического переписывания запросов на материализованные представления, содержащие агрегаты с ROLL UP и CUBE. Совместно с поддержкой JOIN, это позволяет материализовать кубы, полученные путем объединения таблицы фактов и нескольких измерений, и использовать эти предрассчитанные агрегации в широком спектре пользовательских запросов

Iceberg:
- Добавили поддержку predicate pushdown / data skipping на уровне страниц Parquet. Пользователи могут ожидать снижение количества зачитываемых из S3/HDFS данных для ряда запросов
- Добавили поддержку материализованных представлений в CedrusData Catalog. На данный момент это единственный промышленный каталог для Iceberg, отличный от Hive Metastore, который поддерживает материализованные представления

ClickHouse:
- Добавлена возможность pushdown сложных вычислений и множества различных скалярных и агрегатных функций. Пользователи могут ожидать существенное ускорение запросов к ClickHouse для широкого набора сценариев

Release notes: https://docs.cedrusdata.ru/latest/release/release-458-2.html, https://docs.cedrusdata.ru/catalog/458-2/release/release-458-2.html

Всем привет! 24 апреля в Москве пройдет Lakehouse Meetup — первое мероприятие, посвященное использованию современных технологий анализа больших данных. Мы откроем регистрацию немного позже, а этим сообщением мы хотим предложить вам стать спикером мероприятия!

Мы приглашаем выступить на митапе инженеров и архитекторов, работающих с технологиями Apache Iceberg и Trino. Наиболее актуальны темы, связанные с реальной эксплуатацией данных продуктов, а также миграцией с классического стека.
Вы можете подать заявку на выступление, заполнив короткую форму: https://docs.google.com/forms/d/e/1FAIpQLSdznG_KYWRemAe9N92pY7eS6t_SFx3NFsbJ6MAMlXD_EFtZAw/viewform?usp=header

Пятиминутка мотивации:
- Если вы хотите выступить, но вам не подходят даты или вы не можете присутствовать в Москве, подавайте заявку 🙂 Мы планируем серию мероприятий, в том числе онлайн, поэтому у вас будет возможность выступить в другой раз
- Если вы хотите выступить, но сомневаетесь в том, что ваш кейс будет интересен ("слишком мало данных", "еще не все отшлифовали" и т.п.), подавайте заявку 🙂 Если вы уже набили шишки или сделали интересные для себя выводы, про это точно будет интересно послушать

Будем рады увидеть вас в качестве спикера митапа!

Мероприятие организуют компании Кверифай Лабс (вендор CedrusData) и Лемана Тех (ex-Леруа Мерлен). Митап пройдет в гибридном формате.

Всем привет. Мы рады представить минорный релиз CedrusData 458-3! Ключевые изменения:

Коннектор Iceberg:
- Добавлена поддержка запуска CedrusData Catalog в embedded режиме. Теперь вы можете запускать координатор CedrusData и CedrusData Catalog как единый сервис, уменьшая количество компонентов в lakehouse, и повышая производительность запросов к данным Iceberg
- Добавлена поддержка локальной файловой системы. Совместно с поддержкой embedded CedrusData Catalog, вы теперь можете развернуть тестовый лейкхауз с поддержкой Iceberg в буквальном смысле одной командой: https://docs.cedrusdata.ru/458-3/guide/data-lakes-cedrusdata-catalog-embedded.html

Коннектор ClickHouse:
- Добавлена поддержка pushdown дополнительных функций работы с датами и строками. Теперь популярные запросы вида SELECT year(date), ... FROM sales GROUP BY year(date) будут работать многократно быстрее за счет полного pushdown

CedrusData Catalog:
- Добавлена поддержка создания и удаления ролей. Правда, есть нюанс — им нельзя присваивать привилегии 😄. Поддержка привилегий — последний шаг к реализации промышленного RBAC в каталоге, который будет доступен в следующем релизе

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-3/release/release-458-3.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-3/release/release-458-3.html

Всем привет. Мы рады представить минорный релиз CedrusData 458-4! Ключевые изменения:

Общее:
- Добавлена поддержка автоматического переписывания запросов на материализованные представления при несовпадении ключей группировки. Данная оптимизация будет особенно полезна для ускорения запросов из BI-инструментов. Например, вы можете материализовать агрегат по колонкам (a,b,c), и движок сможет его использовать при вычислении более общих агрегатов по любым комбинациям данных колонок: (a), (b), (c), (a,b), (b,c), (a,c). Ранее данный функционал поддерживался только при условии, что вы создали материализованное представление с дополнительными grouping set (например, с помощью ключевых слов ROLLUP, CUBE). Попробовать в действии можно на локальном компьютере с помощью нескольких команд: https://docs.cedrusdata.ru/458-4/cedrusdata-performance/mv-rewrite.html

Коннектор Iceberg:
- Ускорена работа с CedrusData Catalog за счет кэширования метаданных схем и таблиц на время выполнения запроса

Коннектор ClickHouse:
- Добавлена поддержка pushdown типа данных TIMESTAMP WITH TIME ZONE

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-4/release/release-458-4.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-4/release/release-458-4.html

Всем привет. Мы рады представить минорный релиз CedrusData 458-6! Ключевые изменения:

Общее:
- Добавлена поддержка материализованных CTE (common table expressions). Теперь вы можете материализовывать произвольные подзапросы в Iceberg, чтобы избавиться от повторяющихся вычислений, а также для выполнения тяжелых расчетов, которые в противном случае потребляли бы слишком большое количество памяти. Материализацию можно задавать явно с помощью синтаксиса WITH <имя_cte> MATERIALIZED AS ... или автоматически с помощью эвристического планировщика. Технически функционал схож с аналогичными решениями в Greenplum, Presto и PostgreSQL
- Добавлена поддержка aggregation-join pushdown (бэкпорт из Trino)

Коннектор Iceberg:
- Добавлена возможность задавать identifier fieds в качестве свойства таблицы

CedrusData Catalog:
- Добавлена возможность длительного хранения и автоматического удаления материализованных CTE для их переиспользования между запросами. Таким образом CTE, материализованный одним запросом, может быть использован для ускорения последующих. Пользователи связки CedrusData + CedrusData Catalog могут ожидать многократного ускорения тяжелых запросов с повторяющимися CTE. Данный механизм может быть использован как высокопроизводительная альтернатива FTE в ванильном Trino

Материализация CTE в файлах Iceberg обеспечивает масштабируемость решения. Для сравнения, другие продукты (например, Presto, StarRocks, вскоре - ванильный Trino) позволяют переиспользовать только небольшие подпланы и хранят их в памяти, что значительно ограничивает применимость данных оптимизаций.

Пример влияния материализованных CTE для TPC-DS запроса № 47, scale factor 1000, на облачном тестовом стенде:
- Без материализации: 39 сек, прочитано 18 Gb данных
- C материализацией: 14 сек, прочитано 6 Gb данных
- С материализацией и переиспользованием: 1 сек, прочитано 0.05 Gb данных

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-6/release/release-458-6.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-6/release/release-458-6.html

Всем привет! 24 апреля в Москве в офисе Лемана Тех пройдет очередной митап по технологиям Trino и Apache Iceberg! Также будет доступна онлайн-трансляция.

В программе:
- Доклад от Лемана Тех про миграцию на Trino
- Доклад от Азбуки Вкуса про использование каталога Nessie
- Круглый стол про проблемы внедрения lakehouse с инженерами T-Банк, S7 Airlines, Лемана Тех и Кверифай Лабс

Регистрация по ссылке: https://cedrusdata.timepad.ru/event/3299844/

Всем привет. Мы рады представить минорный релиз CedrusData 458-8, основной задачей которого было нарастить возможности pushdown некоторых востребованных функций в коннекторах ClickHouse и Greenplum. Изменения (совместно с предыдущей версией 458-7):

Общее:
- Увеличена версия Apache Parquet до 1.15.1 (предотвращение критической уязвимости CVE-2025-30065)

Коннектор ClickHouse:
- Добавлена возможность pushdown строковых функций trim, ltrim, rtrim, strpos, position

Коннектор Greenplum:
- Добавлена возможность pushdown строковых функций trim, ltrim, rtrim, strpos, position, starts_with
- Добавлена возможность pushdown математических функций abs, sign, sqrt, cbrt, degrees, radians, exp, ln, log2, log10

Коннектор Iceberg:
- Добавлена возможность передачи статических ключей S3 в CedrusData Catalog через механизм extra credentials

Коннектор Kafka:
- Добавлена возможность разрешения конфликтов, когда ключ и сообщение топика имеют поля с одинаковыми именами

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-8/release/release-458-8.html

Всем привет. Мы рады представить минорный релиз CedrusData 458-9: улучшения алгоритма планирования порядка Join, инфраструктура для table maintenance в Iceberg, авторизация в Apache Ranger через политики Hive, статистики ClickHouse, расширенный pushdown в Greenplum и ClickHouse.

Общее:
- Улучшен алгоритм планирования порядка Join. Теперь CedrusData выбирает предельный размер графа Join для cost-based планирования динамически на основе оценки сложности графа. Пользователи могут ожидать улучшение планов сложных запросов, которые до этого оптимизатору приходилось планировать путем разбиения на независимые подграфы
- Улучшен алгоритм упрощения OUTER JOIN. Теперь CedrusData заменяет FULL OUTER JOIN на LEFT/RIGHT OUTER JOIN и далее на INNER JOIN для более широкого спектра запросов

Коннекторы Hive и Iceberg:
- Добавлена возможность авторизации через политики Hive в Apache Ranger. Теперь вы можете переиспользовать существующие политики Hive в Apache Ranger для авторизации действий пользователей CedrusData без установки дополнительных плагинов в Apache Ranger

Коннектор ClickHouse:
- Добавлена поддержка статистик. Теперь оптимизатор может выбирать оптимальный порядок Join при выполнении федеративных запросов к ClickHouse
- Добавлена возможность pushdown строковых функций concat, length, reverse, replace, translate и lpad/rpad
- Добавлена возможность pushdown математических функций abs, sign, sqrt, cbrt, pow, degrees, radians, exp, ln, log2, log10, ceiling, floor, round и truncate

Коннектор Greenplum:
- Добавлена возможность pushdown математических функций ceiling, floor, round и truncate

CedrusData Catalog:
- Подготовлена инфраструктура для автоматического maintenance таблиц Iceberg. В следующей версии мы опубликуем официальный API для maintenance

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-9/release/release-458-9.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-9/release/release-458-9.html

Трансляция Lakehouse митапа в Лемана Про:
- YouTube: https://www.youtube.com/live/r70FGQWdEvc
- VK: https://vk.com/video-230133731_456239017

Всем привет. Мы рады представить релиз CedrusData 458-10: продвинутый time-travel в Iceberg, поддержка maintenance операций и разграничений доступа к объектам в CedrusData Catalog

Коннектор Iceberg:
- ❗️Добавлена поддержка продвинутого time travel при работе с CedrusData Catalog. Теперь вы можете задать единую метку времени в параметре сессии, которая будет использована всеми таблицами в запросе. Таким образом вы получаете возможность работы с предыдущими состояниями таблиц Iceberg без необходимости переписывания запросов и перезапуска продукта
- Добавлена поддержка Kerberos при авторизации через Apache Ranger

Коннектор Hive:
- Добавлена поддержка Kerberos при авторизации через Apache Ranger

CedrusData Catalog:
- ❗️Добавлена поддержка maintenance операций над таблицами Iceberg. Пользователи CedrusData Catalog теперь могут выполнять операции expire-snapshots и remove-orphan-files над индивидуальными объектами или группами объектов. В следующей версии будет добавлена поддержка запуска maintenance операций по расписанию
- ❗️Добавлена поддержка продвинутого time travel. При работе из CedrusData, Apache Spark, Apache Flink и ряда других продуктов вы теперь можете задавать единую метку времени, которая будет использована для выбора целевого состояния таблиц и представлений Iceberg во всех запросах. Пользователи данных движков получают удобный способ работы с предыдущими состояниями объектов без необходимости переписывания запросов и задания меток времени для индивидуальных таблиц. В первой версии поддерживаются только операции SELECT, в июньской версии будет добавлена поддержка DML и DDL операций, что позволит заместить аналогичный функционал Nessie более легковесным и удобным решением
- Добавлена поддержка разграничений доступа к объектам на основе того, кто является их владельцем (aka DAC - Discretionary Access Control). Это финальный шаг перед внедрением промышленного RBAC, появление которого мы ожидаем в конце июня

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-10/release/release-458-10.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-10/release/release-458-10.html