nanoarrow

Downloads

16.0k

GitHub-Sterne

Erweiterungs-Repository auf GitHub

Ermöglicht das Konsumieren und Produzieren des Apache-Arrow-Interprozesskommunikationsformats (IPC), sowohl aus Dateien als auch direkt aus Streampuffern.

Maintainer: paleolimbot, pdet, evertlammerts

Installation und Laden

INSTALL nanoarrow FROM community;
LOAD nanoarrow;

Beispiel

-- Read from a file in Arrow IPC format
FROM 'arrow_file.arrow';
FROM 'arrow_file.arrows';
FROM read_arrow('arrow_file.arrow');

-- Write a file in Arrow IPC stream format
CREATE TABLE arrow_libraries AS SELECT 'nanoarrow' as name, '0.6' as version;
COPY arrow_libraries TO 'test.arrows' (FORMAT ARROWS, BATCH_SIZE 100);

-- Write to buffers: This returns IPC message BLOBs and indicates which one is the header.
FROM to_arrow_ipc((FROM arrow_libraries));

Über nanoarrow

Die Arrow-IPC-Bibliothek ermöglicht das Lesen und Schreiben von Daten im Arrow-IPC-Stream-Format. Dies kann entweder durch Lesen und Erzeugen von .arrow-Dateien oder durch direktes Lesen von Puffern über ihre Zeiger und Größen erfolgen. Wichtig: Das Lesen von Puffern ist gefährlich, da ein falscher Zeiger das Datenbanksystem zum Absturz bringen kann. Dieses Verfahren ist vorübergehend und wird in Zukunft veraltet sein, da Clients (z. B. der Python-DuckDB-Client) eine Funktion erhalten, die diese Puffer intern aus einem Arrow-Stream extrahiert.

Hinzugefügte Funktionen

function_name	function_type	description	comment
nanoarrow_version	scalar	NULL	NULL
read_arrow	table	NULL	NULL
scan_arrow_ipc	table	NULL	NULL
to_arrow_ipc	table	NULL	NULL

Überladene Funktionen

Diese Erweiterung fügt keine Funktionsüberladungen hinzu.

Hinzugefügte Typen

Diese Erweiterung fügt keine Typen hinzu.

Hinzugefügte Einstellungen

Diese Erweiterung fügt keine Einstellungen hinzu.