Benchmark
Menos erros ditos com confiança. Nenhum dado pessoal vazado.
Fizemos as mesmas 21 perguntas de negócio a três modelos do Claude sobre uma empresa no NetSuite construída a partir de dados reais: uma vez por uma conexão SQL bruta, outra como exportações CSV e outra pelo Data to AI™. Só a conexão mudou, e o gabarito foi fixado antes da primeira execução.
21 perguntas, 3 execuções cada. 17 trazem uma ressalva do mundo real (tipos de transação, faturas anuladas, moedas estrangeiras, empresas do grupo faturadas como clientes, um ano incompleto) e 3 não podem ser respondidas com os dados. Gabarito calculado diretamente em SQL; as exportações CSV foram executadas só com o Sonnet 5. Data de execução: 26 de outubro de 2026.