Resumo
Em 29 de julho de 2025, entre 13:30 BRT e 14:16 BRT, nosso sistema de pagamentos enfrentou uma degradação de serviço. Durante esse período, algumas funcionalidades ficaram parcialmente indisponíveis, resultando em uma taxa de erro de aproximadamente 22% nas transações de carteira digital e 27% nas transações de captura de fotos. O serviço foi totalmente restabelecido e todas as transações pendentes foram processadas com sucesso.
Impacto
O incidente afetou diretamente a disponibilidade de algumas funcionalidades do sistema de pagamentos para nossos clientes. Durante o período de 46 minutos, as transações relacionadas a carteiras digitais e captura de fotos apresentaram uma taxa de erro elevada. A interrupção foi mitigada e a normalidade do serviço foi restabelecida sem perda de dados.
Causa Raiz
A causa principal do incidente foi uma alteração na infraestrutura de rede realizada em 28 de julho de 2025. Novos endereços de IP de saída foram adicionados à nossa configuração de rede. No dia seguinte, durante uma manutenção de rotina, um dos nossos serviços de transações foi reiniciado e alocado em um novo nó de infraestrutura que utilizava um desses novos endereços de IP. Como as comunicações internas entre nossos serviços e provedores externos possuem validações de IP para segurança, o novo endereço não foi reconhecido, causando a recusa de conexões e, consequentemente, a degradação do serviço.
Resolução
Nossas equipes de engenharia detectaram o problema automaticamente e iniciaram a investigação imediatamente após o primeiro alerta. A resolução envolveu a identificação do novo endereço de IP e a atualização das listas de permissões nas configurações de segurança dos serviços internos e dos provedores externos, garantindo que as novas conexões fossem aceitas. O serviço retornou à sua plena capacidade após a conclusão dessas atualizações.
Aprendizados
O incidente serviu como um importante lembrete sobre a necessidade de aprimorar nossos processos de gestão de mudanças na infraestrutura. Aprendemos a importância de: