anofox_tabfm

Zero-Shot tabulares maschinelles Lernen in DuckDB — Klassifikation, Regression, Erzeugung synthetischer Daten und Imputation mit echten tabularen Foundation Models (Mitra, TabPFN v2/2.5/3, TabICL, Orion-BiX, TabFM) auf ONNX Runtime, ohne Trainingsloop

Maintainer: sipemu

Installation und Laden

INSTALL anofox_tabfm FROM community;
LOAD anofox_tabfm;

Beispiel

-- Fetch a real tabular foundation model once (Mitra, Apache-2.0, ~300 MB,
-- no license gate). Cached under ~/.cache/anofox-tabfm and reused after.
INSTALL httpfs; LOAD httpfs;                       -- weights are fetched over HTTPS
CALL tabfm_download('classification', model := 'mitra');

-- Label a few rows; leave the ones you want scored as NULL. The model reads
-- the labelled rows as in-context examples and predicts the rest — no training.
CREATE TABLE iris AS SELECT * FROM VALUES
  (5.1, 3.5, 1.4, 0.2, 'setosa'),
  (4.9, 3.0, 1.4, 0.2, 'setosa'),
  (7.0, 3.2, 4.7, 1.4, 'versicolor'),
  (6.4, 3.2, 4.5, 1.5, 'versicolor'),
  (6.3, 3.3, 6.0, 2.5, 'virginica'),
  (5.8, 2.7, 5.1, 1.9, 'virginica'),
  (5.0, 3.6, 1.4, 0.2, NULL),                      -- predict me
  (6.5, 3.0, 5.8, 2.2, NULL)                       -- and me
  AS t(sepal_len, sepal_wid, petal_len, petal_wid, species);

SELECT petal_len, petal_wid, yhat AS predicted_species, yhat_score
FROM tabfm_classify('iris', 'species', model := 'mitra')
WHERE species IS NULL;

Über anofox_tabfm

anofox_tabfm bettet echte tabulare Foundation Models — In-Context-Learner im Stil von TabPFN — in DuckDB ein, sodass tabulare Klassifikation und Regression eine einzige SQL-Anweisung werden. Es gibt keine Trainingsschleife, kein Python und kein MLOps: Das Modell liest Ihre gelabelten Zeilen als Kontext und sagt den Rest voraus.

Eingebaute Modelle

Sieben Modelle sind in der Erweiterung enthalten und werden mit model := gewählt (oder einmal pro Sitzung über SET anofox_tabfm_default_model):

• mitra — AWS AutoGluon (Apache-2.0), ohne Lizenzschranke, ~300 MB. Ein guter Standard.
• tabpfn-v2 — Prior Labs (Apache-2.0, Namensnennung).
• tabicl-v2 — Inria (BSD-3-Clause).
• orion-bix — Lexsi Labs (MIT), ohne Lizenzschranke. Nur Klassifikation.
• tabpfn-v2-5 — Prior Labs TabPFN 2.5. Nicht kommerziell: die Gewichte und ihre Ausgaben dürfen nicht für kommerzielle oder Produktionszwecke verwendet werden.
• tabpfn-v3 — Prior Labs TabPFN 3. Nicht kommerziell: nur Tests, Evaluation und internes Benchmarking.
• tabfm-v1 — Google TabFM (nicht kommerziell, Zugang beschränkt; ~6.6 GB).

SELECT model, license, commercial FROM tabfm_list_models() meldet Lizenz und kommerzielle Nutzbarkeit jedes Modells — das sollten Sie prüfen, bevor Sie etwas darauf aufbauen.

Es sind nur gewichtsfreie Berechnungsgraphen enthalten — keine Modellgewichte werden mit der Erweiterung ausgeliefert. Die Gewichte laden Sie selbst von Hugging Face in einen lokalen Cache (~/.cache/anofox-tabfm); bei einem beschränkten Modell akzeptieren Sie zuerst die Lizenz (SET anofox_tabfm_accept_hf_license = true). Repositories, die Hugging Face selbst beschränkt, brauchen zusätzlich ein Token, das Sie mit einem gewöhnlichen DuckDB- Secret übergeben:

CREATE SECRET hf (TYPE http, BEARER_TOKEN 'hf_xxx', SCOPE 'https://huggingface.co');

Eigenes Modell einbinden

Registrieren Sie jedes kompatible Modell vollständig aus SQL — ohne externes JSON-Manifest. Gewichte können .safetensors oder ein natives PyTorch-.ckpt sein (Lesen ohne Python):

CALL tabfm_register_model(
  id := 'my-model',
  classification_graph   := 'model.onnx',
  classification_weights := 'model.safetensors',
  license := 'apache-2.0');

Synthetische Daten und Imputation

Dieselbe In-Context-Engine läuft auch rückwärts: statt einer Spalte vorherzusagen, modelliert sie die ganze Tabelle als gemeinsame Verteilung und zieht daraus Stichproben.

SELECT * FROM tabfm_generate('customers', 500);        -- 500 synthetic rows
CREATE TABLE clean AS SELECT * FROM tabfm_impute('raw');  -- fill every NULL

Die Erzeugung erfolgt Spalte für Spalte; jede Spalte wird bedingt auf die bereits erzeugten gezogen (Kettenregel), sodass die Beziehungen zwischen den Spalten erhalten bleiben — nicht nur die Randverteilung jeder Spalte. Es braucht nur Klassifikationsgewichte und funktioniert daher mit jedem der oben genannten Modelle, auch mit denen, die nur klassifizieren.

tabfm_impute ist das deterministische Gegenstück: es nimmt die bedingte beste Schätzung statt zu samplen, sodass stetige Füllwerte die volle Genauigkeit behalten und Nicht-NULL-Zellen unverändert bleiben.

Auf dem Brustkrebs-Benchmark von Prior Labs (30 Merkmale) erreicht ein Klassifikator mit nur synthetischen In-Context-Beispielen 97,8 % auf zurückgehaltenen echten Zeilen gegenüber 98,3 % mit den echten Trainingsdaten und erhält die Korrelationsstruktur mit 0,97 über alle 435 Merkmalspaare. Korrelationen werden durch das Quantil-Binning stetiger Spalten etwas abgeschwächt — siehe docs/GENERATE.md im Repository dazu, was das Verfahren erhält und was nicht. Es ist kein Mechanismus für differentielle Privatsphäre.

Inferenz

Läuft auf ONNX Runtime, statisch in die Erweiterung gelinkt (CPU Execution Provider). CUDA- und ROCm/MIGraphX-Varianten gibt es im Quellbaum für Eigenbuilds; dieser Community-Build liefert die portable CPU- Variante.

Oberfläche

• tabfm_classify / tabfm_regress — Zero-Shot-Vorhersage (eine Tabelle mit NULL-Zielen oder ein separates Set test :=)
• tabfm_generate / tabfm_impute — Zeilen aus der gemeinsamen Verteilung einer Tabelle synthetisieren oder ihre NULL-Zellen füllen
• tabfm_predict, tabfm_predict_by, tabfm_predict_agg, tabfm_predict_win
• tabfm_register_model / tabfm_unregister_model — Modellregistrierung rein in SQL
• tabfm_download / tabfm_models / tabfm_list_models / tabfm_load / tabfm_unload / tabfm_remove — alle akzeptieren model :=
• tabfm_devices — CPU-/GPU-Execution-Provider ermitteln
• Einstellungen SET anofox_tabfm_* (Standardmodell, Lizenzschranke, Cache-Verzeichnis, Threads, Gerät, Tracing)

Die vollständigen Funktionsnamen sind anofox_tabfm_* mit kurzen Aliasen tabfm_*. Die vollständige SQL-API und Beispiele finden Sie im Projekt-Repository.

Hinzugefügte Funktionen

Überladene Funktionen

Diese Erweiterung fügt keine Funktionsüberladungen hinzu.

Hinzugefügte Typen

Diese Erweiterung fügt keine Typen hinzu.

Hinzugefügte Einstellungen