Todas as fontes no Iceberg REST Catalog, em formatos de arquivo abertos.

Parquet, CSV, JSON e JSONL. Cada execução do fluxo grava um arquivo no formato que você escolher, com controles no nível do formato - delimitador, cabeçalho e formato de data do CSV, ou a unidade de timestamp de Parquet, JSON e JSONL.

Cada execução do fluxo chega como o seu próprio arquivo datado, para que o Iceberg REST Catalog seja organizado como um dataset particionado por data. Os motores de consulta então leem apenas as partições de que precisam, em vez de varrer tudo, o que mantém as consultas rápidas e os custos previsíveis.

Com a URL do catálogo (o endpoint REST). A autenticação é opcional - um endpoint de token OAuth ou usuário e senha, deixado vazio para catálogos abertos - e o local do warehouse (por exemplo s3://my-bucket/warehouse) é definido por você ou pelo catálogo no lado do servidor.

O catálogo fornece credenciais de armazenamento de curta duração automaticamente, ou você dá ao Dataddo uma chave de acesso, segredo e região do S3 diretamente. Os dados são gravados no formato namespace.table (o namespace não pode conter espaços) e as tabelas são criadas na primeira gravação.

insert (anexa linhas) e truncate_insert (esvazia a tabela e grava os dados atuais; o padrão). Os modos upsert e de chave composta não estão disponíveis aqui, e a lista exata pode depender do catálogo e do estado atual da tabela. O Dataddo funciona com qualquer implementação de catálogo REST: Polaris, Unity Catalog, Nessie, Lakekeeper, S3 Tables, BigLake, OneLake e Glue.

Como o Dataddo grava tabelas padrão do Apache Iceberg, você tem isolamento de snapshots ACID para leituras consistentes durante as gravações, evolução de schema segura (adicionar, renomear, reordenar ou mudar o tipo de colunas sem reescrever a tabela) e time travel: consultar um snapshot anterior por ID ou timestamp, ou reverter uma tabela para um estado bom conhecido.

A mesma tabela é legível por Spark, Flink, Trino, Presto, Hive, Snowflake, Amazon Athena, Google BigQuery, Dremio e outros, sem cópias e sem dependência de fornecedor. O particionamento oculto descarta arquivos automaticamente, então as consultas continuam rápidas sem filtros de partição manuais.

Sim. O modo insert continua gravando novos arquivos, e o create-new-or-replace sobrescreve o arquivo com o mesmo nome. Para formatos de tabela de lakehouse como o Apache Iceberg, a Dataddo aplica modos de escrita no estilo warehouse à própria tabela.

A Dataddo tem as certificações SOC 2 Type II e ISO 27001. Os dados são criptografados em trânsito e em repouso, a PII pode ser mascarada ou convertida em hash, e há residência de dados disponível na UE ou nos EUA. Você conecta o Iceberg REST Catalog com as suas próprias chaves ou uma role assumida.

As cargas incrementais gravam apenas dados novos ou alterados, e o Parquet colunar comprime bem - assim você armazena e varre menos. Você controla o agendamento e o layout de particionamento, o que mantém previsíveis os custos de armazenamento e de consulta.

Não. Os dados chegam em formatos de arquivo abertos em um bucket que é seu, e os pipelines são independentes de armazenamento - você pode adicionar ou trocar de object store, ou apontar as mesmas fontes para um warehouse, sem reconstruir nada.