Todas as fontes no AWS Glue, em formatos de arquivo abertos.

Parquet, CSV, JSON e JSONL. Cada execução do fluxo grava um arquivo no formato que você escolher, com controles no nível do formato - delimitador, cabeçalho e formato de data do CSV, ou a unidade de timestamp de Parquet, JSON e JSONL.

Cada execução do fluxo chega como o seu próprio arquivo datado, para que o AWS Glue seja organizado como um dataset particionado por data. Os motores de consulta então leem apenas as partições de que precisam, em vez de varrer tudo, o que mantém as consultas rápidas e os custos previsíveis.

Com um ID de chave de acesso da AWS, uma chave secreta e uma região (sem espaços em nenhum). O usuário ou a chave de IAM precisa de permissão para criar e atualizar bancos de dados e tabelas do Glue e para ler e gravar no local do S3 que os respalda.

Como tabelas Apache Iceberg no banco de dados do Glue que você indicar, com nomenclatura database.table (o nome do banco de dados não pode conter espaços). As tabelas são registradas na primeira gravação se não existirem, e os dados chegam ao local do S3 de respaldo, consultáveis pelo Amazon Athena.

insert (anexa linhas, o padrão) e truncate_insert (esvazia a tabela e grava os dados atuais). Apenas tabelas Iceberg - não há opções de arquivo CSV, JSON ou Parquet - e o Dataddo gerencia tanto os metadados quanto os arquivos de dados do Iceberg.

Como são tabelas Apache Iceberg padrão, você tem isolamento de snapshots ACID, evolução de schema segura (adicionar, renomear, reordenar ou mudar o tipo de colunas sem reescrever), particionamento oculto que descarta arquivos automaticamente e time travel para consultar ou reverter para um snapshot anterior.

O registro no Glue Data Catalog as torna legíveis em toda a pilha de analytics da AWS (Athena, Redshift Spectrum, EMR/Spark) e por outros mecanismos Iceberg como Trino, Snowflake, Flink e Dremio: a mesma tabela aberta, sem cópias e sem dependência de fornecedor.

Sim. O modo insert continua gravando novos arquivos, e o create-new-or-replace sobrescreve o arquivo com o mesmo nome. Para formatos de tabela de lakehouse como o Apache Iceberg, a Dataddo aplica modos de escrita no estilo warehouse à própria tabela.

A Dataddo tem as certificações SOC 2 Type II e ISO 27001. Os dados são criptografados em trânsito e em repouso, a PII pode ser mascarada ou convertida em hash, e há residência de dados disponível na UE ou nos EUA. Você conecta o AWS Glue com as suas próprias chaves ou uma role assumida.

As cargas incrementais gravam apenas dados novos ou alterados, e o Parquet colunar comprime bem - assim você armazena e varre menos. Você controla o agendamento e o layout de particionamento, o que mantém previsíveis os custos de armazenamento e de consulta.

Não. Os dados chegam em formatos de arquivo abertos em um bucket que é seu, e os pipelines são independentes de armazenamento - você pode adicionar ou trocar de object store, ou apontar as mesmas fontes para um warehouse, sem reconstruir nada.