ducksync

Intelligentes Caching von Abfrageergebnissen zwischen DuckDB und Snowflake mit TTL und intelligentem Refresh

Maintainer: danjsiegel

Installation und Laden

INSTALL ducksync FROM community;
LOAD ducksync;

Beispiel

-- Install and load the extension
INSTALL ducksync FROM community;
LOAD ducksync;

-- Option A: Use an existing DuckLake catalog
ATTACH 'ducklake:postgres:host=localhost dbname=ducklake user=postgres password=secret' AS my_lake (DATA_PATH '/data');
SELECT * FROM ducksync_init('my_lake');

-- Option B: Full setup (attaches DuckLake automatically)
SELECT * FROM ducksync_setup_storage(
    'host=localhost port=5432 dbname=ducklake user=postgres password=secret',
    '/data/ducksync'
);

-- Register Snowflake source (requires existing DuckDB secret)
SELECT * FROM ducksync_add_source('prod', 'snowflake', 'my_snowflake_secret');

-- Create a cache with 1-hour TTL
SELECT * FROM ducksync_create_cache(
    'customers_cache',
    'prod',
    'SELECT * FROM PROD.PUBLIC.CUSTOMERS',
    ['PROD.PUBLIC.CUSTOMERS'],
    3600
);

-- Query via smart routing (cache hit or passthrough)
SELECT * FROM ducksync_refresh('customers_cache');

-- Query via smart routing: cache hit → DuckLake, miss → Snowflake passthrough
SELECT * FROM ducksync_query(
    'SELECT * FROM PROD.PUBLIC.CUSTOMERS WHERE region = ''US''',
    'prod'
);

-- Or query the DuckLake table directly
SELECT * FROM ducksync.prod.customers_cache;

Über ducksync

DuckSync bietet intelligentes Caching von Abfrageergebnissen zwischen DuckDB und Snowflake. Es nutzt DuckLake zur Speicherung (PostgreSQL-Katalog + Parquet-Dateien) und bietet transparente Abfrage- Weiterleitung, TTL-basiertes Verfallen und intelligentes Refresh anhand der Metadaten der Quelltabellen.

Kernablauf:

1. Eine Snowflake-Quelle mit ducksync_add_source registrieren
2. Einen Cache mit ducksync_create_cache definieren (SQL-Abfrage + überwachte Tabellen + TTL)
3. Mit ducksync_refresh befüllen (holt Daten aus Snowflake, speichert sie in DuckLake)
4. Mit ducksync_query abfragen — leitet automatisch an den Cache oder Snowflake weiter

Funktionen:

• Intelligente Abfrageweiterleitung: ducksync_query() leitet automatisch an den Cache oder Snowflake weiter
• Benannte Abfragen: Komplexe Abfragen unter sprechenden Namen cachen
• TTL-Unterstützung: Konfigurierbares Cache-Ablaufen mit automatischem Refresh
• Intelligentes Refresh: Aktualisiert nur, wenn sich Quelltabellen geändert haben (prüft last_altered)
• Direktzugriff: Gecachte Daten als normale DuckLake-Tabellen abfragen
• AST-basiertes Umschreiben: Sichere Abfragetransformation, die nur Tabellenverweise ändert
• Konfigurierbares Metadatenschema: Optionalen schema_name an ducksync_init oder ducksync_setup_storage übergeben für Mandantenumgebungen

Voraussetzungen:

• PostgreSQL-Datenbank (für den DuckLake-Katalog)
• Snowflake-Konto mit konfiguriertem DuckDB-Secret
• ADBC-Snowflake-Treiber (siehe duckdb-snowflake-Einrichtung)

Logik der Abfrageweiterleitung:

1. Parst SQL mit dem DuckDB-Parser, um Tabellenverweise zu extrahieren
2. Prüft, ob jede Tabelle gecacht ist (nach Cachenamen oder überwachter Tabelle)
3. Wenn ALLE Tabellen gecacht sind → schreibt die Abfrage auf lokale DuckLake-Tabellen um
4. Wenn EINE Tabelle nicht gecacht ist → leitet die gesamte Abfrage an Snowflake weiter

Die vollständige Dokumentation finden Sie im Erweiterungs-Repository.

Hinzugefügte Funktionen

Überladene Funktionen

Diese Erweiterung fügt keine Funktionsüberladungen hinzu.

Hinzugefügte Typen

Diese Erweiterung fügt keine Typen hinzu.

Hinzugefügte Einstellungen

Diese Erweiterung fügt keine Einstellungen hinzu.