Iceberg REST Catalog
Dataddo ist die schlüsselfertige Datenschicht für Apache Iceberg. Laden Sie Daten aus über 400 Geschäftsquellen über Ihren REST-Katalog in Iceberg-Tabellen - gesteuert und analysebereit - mit Warehouse-artigen Schreibmodi auf offenem Lakehouse-Speicher. Keine Pipelines, die Sie bauen müssen.
Sources
Business / DB / File / Streaming Connectors
450+ available, any direction
HubSpot
Google Ads
Google Sheets
Salesforce
SAP S/4HANA
Oracle
Microsoft Dynamics 365
AWS S3
Azure SQL
Google Cloud SQL
MySQL
PostgreSQL
IBM Db2
+ any other
Your existing stack
Orchestration
Monitoring
Governance & Lineage
IAM & SSO
Dataddo Platform
Control Plane
UI
Visual workspace for teams to build, run and monitor pipelines
API
Programmatic interface to embed Dataddo in your own stack and workflows
MCP
Dedicated interface for AI & agents to access governed data in context
Data Plane
Isolated deployment
Hyperscalers
Isolated deployment
EU Cloud Providers
Isolated deployment
On-Prem
Destinations
DWH / Data Lake / Lakehouse
Snowflake
Databricks
Microsoft Fabric
Google BigQuery
Amazon Redshift
Azure Synapse
Oracle
IBM Db2
Universal PostgreSQL
Universal MySQL
+ any other
Consumption
AI & Agents / Analytics
Claude
Gemini
OpenAI
Mistral
BottleCap AI
Power BI
Tableau
Looker Studio
Databox
+ any other
Sources
Business / DB / File / Streaming Connectors
450+ available, any direction
Orchestration
Monitoring
Governance & Lineage
IAM & SSO
Dataddo Platform
Destinations
DWH / Data Lake / Lakehouse
Consumption
AI & Agents / Analytics
Jeder Flow-Lauf schreibt gesteuerte Daten als offene Datei in Iceberg REST Catalog - spaltenorientiertes Parquet für Analysen oder zeilenbasiertes CSV, JSON und JSONL für den Austausch - angelegt in datumsbasierten Partitionen, sodass Engines wie Athena, Trino, BigQuery und Spark sie als sauberes Dataset lesen und nur das scannen, was sie brauchen.
Schreiben Sie in Iceberg REST Catalog in dem Format, das Ihre Engine erwartet - kompaktes, spaltenorientiertes Parquet für schnelle Analysen auf Athena, Trino, Spark und BigQuery sowie zeilenbasiertes CSV, JSON und JSONL für den Austausch, das jedes Tool einlesen kann.
Marketing-, Vertriebs-, Finanz-, Produkt- und Werbeplattformen - plus Datenbanken und Flat Files - alles von uns gewartet und bereit, sofort in Iceberg REST Catalog zu landen.
Jeder Lauf landet als eigene datierte Datei, sodass Iceberg REST Catalog als partitioniertes Dataset organisiert ist und Abfrage-Engines auf genau die Dateien reduzieren, die sie brauchen.
Bewahren Sie jeden Lauf als datierten Snapshot oder behalten Sie nur die neueste Datei - die Dateibenennungsstrategie ist Ihr Zustandsmanagement, gewählt pro Flow.
Befüllen Sie Iceberg REST Catalog bei Bedarf mit historischen Datumsbereichen - legen Sie einen neuen Lake mit allem an, was Sie haben, oder laden Sie einen Bereich erneut, um eine Lücke zu schließen.
Kombinieren und reshapen Sie Quellen, und lassen Sie die Data Quality Firewall fehlerhafte Datensätze stoppen und die PII-Erkennung sensible Felder maskieren, bevor etwas in Iceberg REST Catalog landet.
Dataddo liefert Ihre Daten als standardmäßige Apache-Iceberg-Tabellen. Hier sehen Sie, was der verwaltete Writer leistet, wie er mit Katalogen zusammenarbeitet und was das Iceberg-Format jeder nachgelagerten Engine bietet.
Ein verwalteter, inkrementeller Writer, der echte Iceberg-Tabellen pflegt, keine reinen Dateien.
Verbindung über die Iceberg-REST-Katalog-Spezifikation; Speicher-Anmeldedaten werden vom Katalog bereitgestellt oder an Dataddo übergeben.
Da die Ausgabe standardmäßiges Apache Iceberg ist, erhält jede nachgelagerte Engine Tabellensemantik auf Warehouse-Niveau über offenem Speicher.
Behalten Sie dieselben Quellen bei, die in Iceberg REST Catalog fließen - und sehen Sie, wer die Verantwortung trägt, wenn sich eine API, ein Schema oder ein Endpunkt ändert:
| Ohne Dataddo |
Mit Dataddo
|
Ergebnis für Sie | |
|---|---|---|---|
| Änderung an API oder Authentifizierung | Sie entdecken den Ausfall und müssen ihn in Eile beheben. | Wir aktualisieren den Konnektor und stellen die Pipeline wieder her - oft bevor Sie es überhaupt bemerken. | Dateien landen weiterhin in Iceberg REST Catalog |
| Schema-Drift | Spalten ändern sich, und Pipelines brechen ab oder verfälschen Daten unbemerkt. | Wird automatisch erkannt und nach konfigurierbaren Regeln behandelt. | In Iceberg REST Catalog landen nur saubere Daten |
| Endpunkt eingestellt | Sie müssen die Integration neu entwickeln. | Wir übernehmen das Update - der Data Contract bleibt bestehen. | Ihre Iceberg REST Catalog-Ladevorgänge funktionieren weiter |
| Fehlender Konnektor | Sie entwickeln und pflegen eine individuelle Integration. | Wir entwickeln und pflegen ihn - mit einer SLA von rund 4 Wochen. | Jede Quelle kann Iceberg REST Catalog erreichen |
| Unbemerkte Verschlechterung | Sie merken es erst, wenn ein Report oder ein Modelllauf fehlschlägt. | Proaktives Monitoring erkennt Anomalien und Verzögerungen frühzeitig. | Probleme werden erkannt, bevor Ihr Lake fehlerhafte Dateien liest |
| Debugging | Sie durchforsten Logs in verschiedenen, nicht verbundenen Tools. | Run-Historien, Payload-Inspektion und durchgängige Lineage an einem Ort. | Schnellere Ursachenanalyse, weniger Ausfallzeit |
Ein Data Lake zahlt sich aus, wenn er echte Arbeit speist. Hier sind gängige Wege, wie Teams Iceberg REST Catalog nutzen, und die Dataddo-Konnektoren, die jeden davon versorgen - alles in offenen Formaten geladen, nach Ihrem Zeitplan.
Landen Sie Kampagnen-, Ausgaben- und Web-Analytics-Daten aus jedem Kanal in Iceberg REST Catalog für Attribution, Reporting und Marketing-Mix-Modeling über Tools hinweg.
Replizieren Sie operative Datenbanken nach Iceberg REST Catalog, damit schwere analytische und historische Abfragen im Lake statt in Ihren Produktionssystemen laufen.
Landen Sie große Rohdatensätze als Parquet für Feature Engineering, Modelltraining und Notebook-Exploration mit Spark, pandas oder Ihrem ML-Stack.
Behalten Sie eine günstige, langfristige Historie von SaaS-, CRM- und Finanzdaten in offenen Formaten für Compliance und Audit - ohne die Speicherkosten eines Warehouse.
65.000 Social-Media-Konten. Eine Plattform. Null manuelle Autorisierungen.
Beauty & Konsumgüter
Wie Livesport mit BigQuery und Dataddo Daten aktiviert und technische Ressourcen spart
Unterhaltung
Wie die ID&T Group Daten von über 1 Million Festival-Fans und Dutzenden von Social-Media-Konten aktiviert
Unterhaltung
Wie Sensire mit Dataddo die Migration einer proprietären On-Premise-Dateninfrastruktur in die Cloud beschleunigte
Gesundheitswesen
Wie Ringside.ai mit Dataddo ein Datenprodukt besser und schneller aufbaut
Marketing
Wie Publicis Groupe Brasil die API von Dataddo nutzt, um ein Datenprodukt zu skalieren
Werbung
Ein fester Monatspreis, abhängig von der Anzahl Ihrer Datenflüsse. Starten Sie mit einer kostenlosen Testphase und wechseln Sie zu individuellen Enterprise-Preisen, wenn Sie maßgeschneiderte Verträge oder Mengenpreise benötigen.
Parquet, CSV, JSON und JSONL. Jeder Flow-Lauf schreibt eine Datei im von Ihnen gewählten Format, mit Steuerung auf Formatebene - CSV-Trennzeichen, Kopfzeile und Datumsformat oder die Zeitstempel-Einheit für Parquet, JSON und JSONL.
Jeder Flow-Lauf landet als eigene datierte Datei, sodass Iceberg REST Catalog als datumspartitioniertes Dataset organisiert ist. Abfrage-Engines lesen dann nur die Partitionen, die sie brauchen, statt alles zu scannen, was Abfragen schnell und Kosten planbar hält.
Mit der Katalog-URL (dem REST-Endpunkt). Die Authentifizierung ist optional - ein OAuth-Token-Endpunkt oder Benutzername und Passwort, bei offenen Katalogen leer - und der Warehouse-Speicherort (z. B. s3://my-bucket/warehouse) wird von Ihnen oder serverseitig vom Katalog festgelegt.
Entweder stellt der Katalog automatisch kurzlebige Speicher-Anmeldedaten bereit, oder Sie geben Dataddo einen S3-Zugriffsschlüssel, ein Secret und eine Region direkt an. Daten werden im Format namespace.table geschrieben (der Namespace darf keine Leerzeichen enthalten), und Tabellen werden beim ersten Schreibvorgang erstellt.
insert (Zeilen anhängen) und truncate_insert (Tabelle leeren, dann aktuelle Daten schreiben; Standard). Upsert- und Composite-Key-Modi sind hier nicht verfügbar, und die genaue Liste kann vom Katalog und vom aktuellen Tabellenzustand abhängen. Dataddo funktioniert mit jeder REST-Katalog-Implementierung: Polaris, Unity Catalog, Nessie, Lakekeeper, S3 Tables, BigLake, OneLake und Glue.
Da Dataddo standardmäßige Apache-Iceberg-Tabellen schreibt, erhalten Sie ACID-Snapshot-Isolation für konsistente Lesevorgänge während Schreibvorgängen, sichere Schema-Evolution (Spalten hinzufügen, umbenennen, umordnen oder umtypisieren ohne Tabellen-Rewrite) und Time Travel: einen älteren Snapshot per ID oder Zeitstempel abfragen oder eine Tabelle auf einen bekannten guten Zustand zurücksetzen.
Dieselbe Tabelle ist von Spark, Flink, Trino, Presto, Hive, Snowflake, Amazon Athena, Google BigQuery, Dremio und weiteren lesbar, ohne Kopien und ohne Anbieterbindung. Hidden Partitioning filtert Dateien automatisch, sodass Abfragen ohne manuelle Partitionsfilter schnell bleiben.
Ja. Insert schreibt weiterhin neue Dateien, und Create-New-or-Replace überschreibt die Datei mit demselben Namen. Für Lakehouse-Tabellenformate wie Apache Iceberg wendet Dataddo Warehouse-artige Schreibmodi auf die Tabelle selbst an.
Dataddo ist SOC 2 Type II- und ISO 27001-zertifiziert. Daten werden bei der Übertragung und im Ruhezustand verschlüsselt, PII kann maskiert oder gehasht werden, und eine Datenresidenz in der EU oder den USA ist verfügbar. Sie verbinden Iceberg REST Catalog mit Ihren eigenen Schlüsseln oder einer angenommenen Rolle.
Inkrementelle Ladevorgänge schreiben nur neue oder geänderte Daten, und spaltenorientiertes Parquet komprimiert gut - so speichern und scannen Sie weniger. Sie steuern den Zeitplan und das Partitionslayout, was Speicher- und Abfragekosten planbar hält.
Nein. Die Daten landen in offenen Dateiformaten in einem Bucket, der Ihnen gehört, und die Pipelines sind speicherunabhängig - Sie können Object Stores hinzufügen oder wechseln oder dieselben Quellen auf ein Warehouse richten, ohne etwas neu aufzubauen.
Facebook Ads
Google Analytics 4
YouTube Analytics
SQL Server
MongoDB
Kafka
NetSuite
Stripe