Simple Sovereign Scalable Data Stack

Build a cloud-agnostic data stack with DuckDB + Dagster with Ducklake. Fast, portable, and no vendor lock-in.

Tired of cloud lock-in and surprise bills? This talk shows how to build a fast, portable analytics stack around DuckDB and Dagster. Along the way of our journey to sovereignty and scale we touch on pg_duckdb which combines the strengths of DuckDB with the proven operability of Postgres. We then move on to Ducklake and how this enables simple, yet scalable collaboration with data. Expect live SQL, practical orchestration tips, and a blueprint you can run locally, on-prem, or in the cloud—without giving up control.

Join: https://www.tdwi.eu/veranstaltungen/roundtables/nuernberg

Einfacher, souveräner und skalierbarer Datenstack

Erstellt mit DuckDB, dagster und anderen erfolgreichen open source Komponenten

Haben Sie genug von Cloud-Lock-in und überraschenden Rechnungen? In diesem Vortrag erfahren Sie, wie Sie einen schnellen, portablen Analyse-Stack rund um DuckDB und dagster aufbauen können. Auf unserem Weg zu souveränen und einfach skalierbaren Datenberarbeitungspipelines kommen wir auf pg_duckdb zu sprechen, das die Stärken von DuckDB mit der bewährten Funktionsfähigkeit von Postgres kombiniert. Anschließend wenden wir uns Ducklake zu und zeigen, wie dieses Tool eine einfache und dennoch skalierbare Zusammenarbeit mit Daten ermöglicht. Freuen Sie sich auf Live-SQL, praktische Tipps zur Orchestrierung und einen Entwurf, den Sie lokal, vor Ort oder in der Cloud ausführen können – ohne die Kontrolle abzugeben.

Anmeldung: https://www.tdwi.eu/veranstaltungen/roundtables/nuernberg

Architecture overview

Starting with the principles we eventually (as time permits) explore:

• duckdb
• pg_duckdb
• ducklake
• automation of ducklake-based SQL transformations with
  • dbt
  • sqlmesh
• introduction to graph-based orchestration with dagster
• integration of ducklake/dbt with dagster
• pushing ducklake metadata to a data catalog
  • datahub
  • open metadata
• souvereign AI and scalable AI: Exploring scalable compute via ray to run machine learning models