Estudo de caso
Como a FoodChéri sincroniza o MongoDB com o BigQuery para obter insights mais rápidos, com menos engenharia
Desafio principal
A FoodChéri queria acessar seus dados operacionais para obter insights valiosos sobre seus processos, operações e comportamento dos clientes. No entanto, como os dados operacionais estavam localizados em sistemas críticos para os negócios, o acesso a eles representava um desafio significativo do ponto de vista da engenharia. Portanto, era fundamental encontrar uma maneira de acessar os dados que minimizasse as interrupções nos sistemas de produção e reduzisse a complexidade da engenharia.
Principais resultados
- Replicação bem-sucedida de dados entre bancos de dados - do banco de dados de produção (MongoDB) para um data warehouse (BigQuery) para análise, sem interromper o sistema de produção.
- Transferiu grandes volumes de dados (de 100 GBs a mais de 1 TB diariamente)
- Reduziu a conta de infraestrutura em 25-50% por meio da replicação baseada em CDC, transferindo apenas os dados alterados em vez de executar réplicas completas.
Solução
- A Dataddo realiza a replicação de dados baseada em CDC entre o banco de dados operacional e o banco de dados analítico da FoodChéri.
- A replicação quase em tempo real dos dados de produção cria um ambiente seguro para que os analistas de dados realizem consultas analíticas complexas e cargas de trabalho assimétricas.
- Os conectores de banco de dados prontos para uso da Dataddo permitiram uma implantação rápida e garantiram a escalabilidade automática dos pipelines de dados.
- O monitoramento, os alertas e a detecção de anomalias incorporados garantem que todos os dados fornecidos sejam de alta qualidade.
ESTUDO DE CASO
Leia a história completa
A empresa francesa FoodChéri é especializada na entrega de almoços saudáveis e prontos para funcionários a empresas na área metropolitana de Paris. Sua marca irmã, a Seazon, oferece planos de refeições flexíveis, baseados em assinaturas, para pessoas ocupadas que desejam uma melhor nutrição sem complicações, e faz entregas semanais em toda a França.
As marcas compartilham um cardápio, que apresenta o tipo de variedade que se pode esperar dos franceses. Mas elas conduzem as operações com um toque altamente sustentável - elas têm uma equipe inteira dedicada a reduzir o impacto ecológico, uma rede de parceiros para ajudar a distribuir as refeições não consumidas e a obter cuidadosamente ingredientes sazonais e locais.
Quando o FoodChéri foi fundado em 2015, o mercado de entrega de refeições prontas era completamente novo. E, como os participantes de qualquer mercado inovador, eles tiveram que se ajustar rapidamente às expectativas dos clientes.
O problema: muitos dados não estruturados, pouca percepção
Em 2020, a FoodChéri havia estabelecido uma base sólida no setor de entrega de refeições. Mas eles perceberam que poderiam fortalecer ainda mais essa base usando dados. Ao longo dos anos, eles coletaram uma montanha de dados de ferramentas internas e voltadas para o cliente; para aproveitá-los melhor, eles precisariam reformular sua infraestrutura de dados.
Eles já estavam usando MySQL e MongoDB para armazenar dados não estruturados, mas os dados não estruturados são brutos e inadequados para análise em um aplicativo de painel. Assim, eles começaram a procurar uma ferramenta de integração flexível que replicasse os dados dos bancos de dados existentes e os sincronizasse com um novo depósito capaz de armazenar dados estruturados. Lá, eles poderiam ser enriquecidos pela equipe de dados da empresa e, em seguida, enviados diretamente aos painéis para análise.
O BigQuery foi uma escolha óbvia de warehouse, uma vez que a FoodChéri já estava usando outras soluções do Google Cloud. Mas e quanto à ferramenta de integração de dados?
Para encontrar a vencedora, eles testaram duas das poucas ferramentas do mercado que podem replicar dados não estruturados: Fivetran e Dataddo.
A solução: Transformações automáticas, suporte abrangente
O Google BigQuery só aceita dados estruturados e semiestruturados, portanto, para mover dados totalmente não estruturados do MongoDB e do MySQL para o BigQuery, é necessário primeiro realizar algum tipo de transformação (ou estruturação) dos dados.
A equipe de dados da FoodChéri poderia, é claro, fazer isso nos bancos de dados e depois usar o Fivetran ou o Dataddo para copiar os dados para o BigQuery. Mas isso é muito trabalho extra. Seria muito mais fácil se a ferramenta de integração transformasse automaticamente os dados antes de enviá-los ao BigQuery.
O Fivetran não faz isso, mas o Dataddo faz. Mas a Fivetran tinha um conector MongoDB e a Dataddo não tinha.
Em dez dias, a Dataddo criou um conector MongoDB para o FoodChéri, para que eles pudessem testar adequadamente as duas ferramentas. A Dataddo foi a vencedora.
"Escolhemos a Dataddo por sua facilidade de uso, transformações automáticas, política de preços clara e a qualidade do relacionamento humano que foi estabelecido desde nossas primeiras trocas. No final, entendemos que poderíamos trazer muito um para o outro." - Laurent Partouche, CPO, FoodChéri & Seazon
Depois que a Dataddo envia os dados para o BigQuery, a equipe de dados da FoodChéri realiza transformações adicionais e os sincroniza com sua ferramenta de BI, o Metabase, onde todas as partes interessadas da empresa podem visualizar painéis para obter insights.
Os resultados: Menos engenharia, mais análise de dados
Graças ao conector MongoDB, os engenheiros da FoodChéri economizaram semanas de trabalho ao reformular sua infraestrutura de dados. E como o Dataddo limpa previamente os dados que extrai do MongoDB e do MySQL, é sempre mais fácil trabalhar com os dados quando eles chegam ao BigQuery.
Ainda mais importante, a sincronização diária automática entre os dois depósitos garante que as partes interessadas recebam os dados mais recentes diariamente.
"O Dataddo nos permite focar no essencial: transformar os dados no BigQuery e depois analisá-los." - Laurent Partouche, CPO, FoodChéri & Seazon
FoodChéri e Dataddo: avançando juntos
O FoodChéri é muito mais do que apenas uma cozinha com alguns caminhões; é um serviço em constante evolução comprometido com o fornecimento de alimentos responsáveis. Por isso, seus pipelines de dados são tudo menos estáticos.
À medida que a empresa cresce, cresce também sua necessidade de sincronizar diferentes conjuntos de dados entre armazéns, bem como de usar novos conectores. Mais recentemente, a FoodChéri começou a usar o Dataddo para sincronizar dados de seu aplicativo de helpdesk, o Gorgias, diretamente com o BigQuery.
Onde quer que a FoodChéri decida transferir seus dados, o Dataddo estará com ela.
Veja a plataforma Dataddo em ação
Clique para agendar uma demonstração ao vivo com um de nossos especialistas.
Depoimentos
Dataddo é classificado em 1º lugar pelos clientes
