Todas tus fuentes en Iceberg REST Catalog, en formatos de archivo abiertos.

Parquet, CSV, JSON y JSONL. Cada ejecución del flujo escribe un archivo en el formato que elijas, con controles a nivel de formato - delimitador, cabecera y formato de fecha de CSV, o la unidad de timestamp para Parquet, JSON y JSONL.

Cada ejecución del flujo aterriza como su propio archivo con fecha, así Iceberg REST Catalog se organiza como un dataset particionado por fecha. Los motores de consulta leen entonces solo las particiones que necesitan en lugar de escanearlo todo, lo que mantiene las consultas rápidas y los costes predecibles.

Con la URL del catálogo (el endpoint REST). La autenticación es opcional - un endpoint de token OAuth o usuario y contraseña, vacío para catálogos abiertos - y la ubicación del warehouse (p. ej. s3://my-bucket/warehouse) la defines tú o el catálogo del lado servidor.

El catálogo entrega credenciales de almacenamiento de corta duración de forma automática, o le das a Dataddo una clave de acceso, secreto y región de S3 directamente. Los datos se escriben en formato namespace.table (el namespace no puede contener espacios) y las tablas se crean en la primera escritura.

insert (añade filas) y truncate_insert (vacía la tabla y escribe los datos actuales; el predeterminado). Los modos upsert y de clave compuesta no están disponibles aquí, y la lista exacta puede depender del catálogo y del estado actual de la tabla. Dataddo funciona con cualquier implementación de catálogo REST: Polaris, Unity Catalog, Nessie, Lakekeeper, S3 Tables, BigLake, OneLake y Glue.

Como Dataddo escribe tablas estándar de Apache Iceberg, obtienes aislamiento de instantáneas ACID para lecturas consistentes durante las escrituras, evolución de esquema segura (añadir, renombrar, reordenar o cambiar el tipo de columnas sin reescribir la tabla) y time travel: consultar una instantánea anterior por ID o marca de tiempo, o revertir una tabla a un estado bueno conocido.

La misma tabla es legible por Spark, Flink, Trino, Presto, Hive, Snowflake, Amazon Athena, Google BigQuery, Dremio y más, sin copias y sin dependencia de proveedor. La partición oculta descarta archivos automáticamente, así que las consultas siguen siendo rápidas sin filtros de partición manuales.

Sí. Insert sigue escribiendo archivos nuevos, y create-new-or-replace sobrescribe el archivo con el mismo nombre. Para formatos de tabla lakehouse como Apache Iceberg, Dataddo aplica modos de escritura estilo warehouse sobre la propia tabla.

Dataddo cuenta con las certificaciones SOC 2 Type II e ISO 27001. Los datos se cifran en tránsito y en reposo, la PII se puede enmascarar o aplicar hash, y hay residencia de datos disponible en la UE o EE. UU. Conectas Iceberg REST Catalog con tus propias claves o un rol asumido.

Las cargas incrementales escriben solo los datos nuevos o modificados, y el Parquet columnar comprime bien - así almacenas y escaneas menos. Tú controlas la programación y la disposición de las particiones, lo que mantiene predecibles los costes de almacenamiento y consulta.

No. Los datos aterrizan en formatos de archivo abiertos en un bucket que es tuyo, y los pipelines son independientes del almacenamiento - puedes añadir o cambiar de object store, o apuntar las mismas fuentes a un warehouse, sin reconstruir nada.