Postmortem: Instabilidade em Serviços de Assinatura (07-08 de Outubro de 2025)

Resumo

Entre 7 e 8 de Outubro de 2025, alguns de nossos serviços de assinatura eletrônica apresentaram uma degradação de performance. Clientes podem ter observado atrasos na atualização de status de documentos e inconsistências nos resultados de busca. O incidente foi identificado pela nossa equipe de engenharia e totalmente resolvido em 8 de Outubro de 2025. Este documento detalha o ocorrido, o impacto, a causa e as lições aprendidas.

Impacto

O incidente começou aproximadamente às 17:00 (BRT) do dia 7 de Outubro e foi completamente mitigado às 14:35 (BRT) do dia 8 de Outubro. Durante este período, o principal impacto para os clientes foi um atraso significativo, de até 30 minutos, na exibição de dados atualizados.

Isso se manifestou das seguintes formas:

• Documentos exibidos com status desatualizados (por exemplo, aparecendo como "pendente" quando já haviam sido "concluídos").
• Buscas que não retornavam os documentos mais recentes ou que exibiam informações inconsistentes.
• Lentidão em APIs de consulta e no painel de visualização de documentos.

A funcionalidade principal de envio e assinatura de documentos não foi interrompida, mas a visualização do estado real desses processos foi impactada.

Causa Raiz

A causa raiz do incidente foi um processo de manutenção de rotina em nosso banco de dados que se estendeu por muito mais tempo do que o normal.

Uma tarefa automatizada, responsável por reorganizar índices de dados para garantir a performance do sistema, foi iniciada durante a madrugada. Devido a uma fragmentação incomum em um índice de uma tabela de grande volume, a tarefa não foi concluída na janela de baixa utilização e continuou a ser executada durante o horário comercial.

Essa operação intensiva sobrecarregou o banco de dados principal, o que gerou um atraso considerável na sincronização dos dados com as nossas réplicas de leitura. Como muitas de nossas APIs de consulta e dashboards utilizam essas réplicas para otimizar a performance, elas acabaram servindo dados desatualizados aos nossos clientes.

Resolução

Nossa equipe de engenharia iniciou a investigação após a detecção das anomalias na manhã de 8 de Outubro. As seguintes ações foram tomadas para restabelecer o serviço:

1. Mitigação Imediata: Para contornar o problema de dados desatualizados, o tráfego de leitura foi temporariamente redirecionado das réplicas para o banco de dados principal. Isso resolveu imediatamente os sintomas visíveis para os clientes, garantindo que as informações exibidas estivessem corretas e atualizadas.
2. Identificação e Correção: Simultaneamente, a investigação identificou o processo de manutenção de longa duração como a causa do atraso na replicação. O processo foi interrompido de forma segura.
3. Normalização: Após a interrupção da tarefa, a réplica de leitura sincronizou-se rapidamente com o banco de dados principal.
4. Restauração: Uma vez que a sincronização foi confirmada, o tráfego de leitura foi redirecionado de volta para a réplica, retornando a arquitetura ao seu estado normal e garantindo a performance de longo prazo.

Lições Aprendidas

Este incidente nos trouxe aprendizados importantes para fortalecer ainda mais a nossa plataforma:

• Melhorar o Monitoramento de Replicação: Implementaremos alertas mais sensíveis para detectar qualquer atraso significativo na sincronização entre nossas instâncias de banco de dados, permitindo uma resposta mais rápida a anomalias semelhantes.
• Robustecer Processos de Manutenção: Nossas rotinas de manutenção automática serão aprimoradas para incluir limites de tempo de execução mais rigorosos (timeouts) e mecanismos de falha segura, evitando que se estendam para horários de pico e impactem os serviços.
• Aprimorar Alertas de Processos Internos: Serão criados novos alertas para notificar proativamente nossa equipe sobre qualquer tarefa de manutenção que exceda sua janela de execução esperada, antes que haja qualquer impacto para o cliente.

Nosso compromisso é com a estabilidade e a confiabilidade de nossos serviços. Pedimos desculpas por qualquer inconveniente que este incidente possa ter causado.