Todas tus fuentes en AWS Glue, en formatos de archivo abiertos.

Parquet, CSV, JSON y JSONL. Cada ejecución del flujo escribe un archivo en el formato que elijas, con controles a nivel de formato - delimitador, cabecera y formato de fecha de CSV, o la unidad de timestamp para Parquet, JSON y JSONL.

Cada ejecución del flujo aterriza como su propio archivo con fecha, así AWS Glue se organiza como un dataset particionado por fecha. Los motores de consulta leen entonces solo las particiones que necesitan en lugar de escanearlo todo, lo que mantiene las consultas rápidas y los costes predecibles.

Con un ID de clave de acceso de AWS, una clave secreta y una región (sin espacios en ninguno). El usuario o la clave de IAM necesita permiso para crear y actualizar bases de datos y tablas de Glue y para leer y escribir en la ubicación de S3 que las respalda.

Como tablas Apache Iceberg en la base de datos de Glue que indiques, con nomenclatura database.table (el nombre de la base de datos no puede contener espacios). Las tablas se registran en la primera escritura si no existen, y los datos llegan a la ubicación de S3 de respaldo, consultables desde Amazon Athena.

insert (añade filas, el predeterminado) y truncate_insert (vacía la tabla y escribe los datos actuales). Solo tablas Iceberg - no hay opciones de archivo CSV, JSON o Parquet - y Dataddo gestiona tanto los metadatos como los archivos de datos de Iceberg.

Como son tablas Apache Iceberg estándar, obtienes aislamiento de instantáneas ACID, evolución de esquema segura (añadir, renombrar, reordenar o cambiar el tipo de columnas sin reescribir), partición oculta que descarta archivos automáticamente y time travel para consultar o revertir a una instantánea anterior.

El registro en el Glue Data Catalog las hace legibles en toda la pila de analítica de AWS (Athena, Redshift Spectrum, EMR/Spark) y por otros motores Iceberg como Trino, Snowflake, Flink y Dremio: la misma tabla abierta, sin copias y sin dependencia de proveedor.

Sí. Insert sigue escribiendo archivos nuevos, y create-new-or-replace sobrescribe el archivo con el mismo nombre. Para formatos de tabla lakehouse como Apache Iceberg, Dataddo aplica modos de escritura estilo warehouse sobre la propia tabla.

Dataddo cuenta con las certificaciones SOC 2 Type II e ISO 27001. Los datos se cifran en tránsito y en reposo, la PII se puede enmascarar o aplicar hash, y hay residencia de datos disponible en la UE o EE. UU. Conectas AWS Glue con tus propias claves o un rol asumido.

Las cargas incrementales escriben solo los datos nuevos o modificados, y el Parquet columnar comprime bien - así almacenas y escaneas menos. Tú controlas la programación y la disposición de las particiones, lo que mantiene predecibles los costes de almacenamiento y consulta.

No. Los datos aterrizan en formatos de archivo abiertos en un bucket que es tuyo, y los pipelines son independientes del almacenamiento - puedes añadir o cambiar de object store, o apuntar las mismas fuentes a un warehouse, sin reconstruir nada.