No dia 17 de Julho de 2024, entre 10h52 e 11h24 , enfrentamos uma indisponibilidade no nosso portal de transações do produto IDPay. Esta falha impactou funcionalidades do portal, como acesso a tela de listagem de transações, emissão de relatórios e tela de dashboard do produto.

Ao investigar, identificamos que a falha estava relacionada com uma mudança programada realizada no mesmo dia as 10h. Para solucionar a falha foi realizado o rollback da mudança, normalizando a operação.

Para evitar cenários futuros, nosso time criou um plano de ação que consiste em criação de um engine de ratelimit para maior controle de requisições ao backend, melhorias no processo de deploy de mudanças no frontend, melhorias e otimizações no banco de dados da aplicação e melhorias no sistema de observabilidade e monitoração da plataforma.