Сочетание DuckDB и PyArrow позволяет эффективно обрабатывать на одной машине массивы данных, превышающие объем памяти.

В приведенном ниже коде запуск DuckDB на наборе данных #PyArrow примерно в 2906 раз быстрее, чем запуск #DuckDB на #pandas DataFrame.

▪Pyarrow
▪DuckDB

#tips

@sqlhub

🦆 Традиционные базы данных требуют предварительно определенную схему таблицы и не поддерживают работу с CSV файлами, без их предварительной обработки.

#DuckDB позволяет напрямую считывать файлы CSV , устраняя необходимость в явном создании таблицы и загрузке данных.

▪️Github

@sqlhub