No cenário digital em constante evolução, plataformas de conteúdo como a Momspresso precisam de uma infraestrutura de dados robusta para oferecer experiências personalizadas aos seus utilizadores. Hoje, estou entusiasmado em partilhar informações sobre o pipeline de dados escalável que construímos para a Momspresso, que alimenta os seus sistemas de análise e recomendação.
O Desafio#
A Momspresso precisava de um sistema que pudesse:
- Capturar eventos do utilizador em tempo real
- Processar e armazenar grandes volumes de dados de forma eficiente
- Permitir análise rápida e visualização do comportamento do utilizador
- Suportar um motor de recomendação para entrega de conteúdo personalizado
A Nossa Solução: Um Pipeline de Dados Abrangente#
Projetámos um pipeline de dados com múltiplos componentes que atende a estas necessidades:
1. SDK de Eventos Python#
Desenvolvemos uma classe Python simples que pode ser integrada em todo o código da Momspresso. Este SDK permite que o sistema envie eventos sem escrever código subjacente, facilitando o rastreamento de interações do utilizador pelos programadores.
2. Serviço Web de Eventos#
Este serviço recebe eventos do SDK e envia-os para o Kafka após uma validação mínima. Atua como o ponto de entrada para todos os dados de interação do utilizador.
3. Apache Kafka#
Escolhemos o Kafka como nosso sistema de intermediação de mensagens e pub-sub devido à sua alta taxa de transferência e design tolerante a falhas. Atualmente a funcionar numa única máquina, está pronto para escalar à medida que a Momspresso cresce.
4. Sistema de Captura de Dados#
Este componente escuta todos os eventos do Kafka e insere-os numa base de dados PostgreSQL. Ao utilizar as capacidades JSON do Postgres, criámos um conjunto de dados flexível e consultável.
5. Armazenamento de Eventos PostgreSQL#
O nosso armazenamento de dados principal para todos os eventos. Implementámos um sistema de arquivamento mensal para gerir o armazenamento de forma eficiente.
6. Grafana para Análise em Tempo Real#
Conectado ao nosso armazenamento de eventos, o Grafana permite que a Momspresso crie gráficos de consultas em tempo real, acompanhe o uso de recursos, monitorize o desempenho de conversão e detete anomalias.
7. Sistema de Visualização de Dados#
Este componente executa uma série de heurísticas e modelos para definir atributos do utilizador, atualizando uma base de dados separada de Visualização do Utilizador.
8. Base de Dados de Visualização de Dados PostgreSQL#
Esta base de dados armazena as visualizações de utilizador processadas, permitindo acesso rápido aos dados derivados do utilizador.
9. Metabase para Painéis#
Utilizando a base de dados de Visualização de Dados, o Metabase permite que a Momspresso crie painéis personalizados e relatórios usando consultas SQL.
10. Serviço Web de Impressão Digital Única#
Um serviço inteligente de pixel 1x1 que atribui uma assinatura única num cookie para cada utilizador, permitindo-nos rastrear utilizadores entre sessões.
O Poder Deste Pipeline#
Este pipeline de dados capacita a Momspresso de várias formas:
- Insights em Tempo Real: A Momspresso pode agora acompanhar o comportamento do utilizador e o desempenho do conteúdo em tempo real.
- Personalização: Os dados estruturados do utilizador permitem algoritmos sofisticados de recomendação de conteúdo.
- Análise Flexível: Com os dados armazenados em formatos consultáveis, a Momspresso pode realizar análises ad-hoc facilmente.
- Escalabilidade: O design modular permite que componentes individuais sejam escalados ou substituídos conforme necessário.
Olhando para o Futuro#
À medida que a Momspresso continua a crescer, este pipeline de dados desempenhará um papel crucial na compreensão do comportamento do utilizador e na entrega de experiências personalizadas. Estamos entusiasmados para ver como a Momspresso aproveitará esta infraestrutura para melhorar a sua plataforma e envolver a sua comunidade de forma mais eficaz.
Fiquem atentos ao nosso próximo post, onde mergulharemos no sistema de recomendação construído sobre este pipeline de dados!