Track papers across labs, topics, and trends.
Search papers, labs, and topics across Lattice.
This paper benchmarks the performance of three popular Data Lakehouse systems – Apache Hudi, Apache Iceberg, and Delta Lake – using Apache Spark for distributed data processing. The study evaluates each system's data loading speed and storage efficiency when handling structured (CSV) and semi-structured (JSON) data up to 7GB in size. Results indicate that Delta Lake excels in loading speed, Iceberg prioritizes stability and storage efficiency, while Hudi is less effective for initial loading but potentially suitable for incremental updates.
Delta Lake wins the speed race for data ingestion, but Apache Iceberg takes the crown for storage efficiency in Data Lakehouse architectures.
У статті представлено дослідження ефективності завантаження та збереження даних у трьох найпоширеніших системах Data Lakehouse, серед яких Apache Hudi, Apache Iceberg та Delta Lake, використовуючи Apache Spark як платформу розподіленої обробки даних. У межах дослідження проаналізовано поведінку кожної системи під час обробки структурованих (CSV) та напівструктурованих (JSON) даних різного обсягу, включаючи завантаження файлу обсягом до 7 ГБ. Метою роботи є визначення найоптимальнішої Data Lakehouse архітектури на основі типу і обсягу джерел даних, продуктивності завантаження даних засобом Apache Spark, дискового розміру даних для формування аналітичних систем даних. Методологія дослідження охоплює побудову чотирьох послідовних ETL процесів, які включають зчитування, трансформацію та завантаження даних у таблиці кожної з Data Lakehouse систем. Ефективність кожної з Lakehouse оцінювалась за двома ключовими критеріями: час завантаження даних та обсяг сформованих таблиць у файловій системі. Наукова новизна. Вперше здійснено порівняння продуктивності та збереження даних в Data Lakehouse системах Apache Iceberg, Apache Hudi та Delta Lake з метою вибору найбільш релевантної архітектури для формування аналітичних систем даних. Практична цінність дослідження полягає в тому, що воно допомагає інженерам і архітекторам даних вибрати найбільш відповідну Lakehouse архітектуру, розуміючи баланс між продуктивністю завантаження та ефективністю зберігання. Висновки. Експериментальні результати продемонстрували, що Delta Lake є найбільш оптимальною архітектурою для систем, де пріоритетом є швидкість завантаження даних будь-якого об’єму, тоді як застосування Apache Iceberg є найбільш доцільним у системах, де критичними є стабільність та економія дискового простору. Apache Hudi виявився неефективним у задачах оцінки завантаження та збереження даних, але потенційно може бути ефективним у сценаріях інкрементальних оновлень та потокової обробки.