No dia22 de Abril de 2024, por volta das 11:10 tivemos degradação das funcionalidades de assinatura, criação de envelopes e gestão de envelopes no Sign para todos os produtos da unico.
Ao investigar, identificamos um alto volume de processamento do banco de dados, gerando o cenário de falhas e degradação na plataforma. O banco de dados estava lidando com um volume muito grande (anormal) de requisições de um cliente específico. Para lidar com o incidente, configuramos o rate limit para definir um limite para requisições do ofensor. Em paralelo, fizemos um scale up dos recursos disponíveis no banco. Por volta das 12:12 a plataforma estabilizou.
Para evitar cenários futuros, nosso time criou um plano de ação que consiste em revisão e otimização de algumas queries SQL, revisão da política de expurgo de dados, revisão da política de timeout de conexões da base de dados e criação de uma política de rate limit para evitar cenários de DoS/storm events.