Indisponibilidade no componente SDK nos produtos IDCheck, IDPay e IDUnico

Incident Report for unico

Postmortem

No dia 12 de Abril de 2024, a partir das 13:20 identificamos uma degradação no componente SDK que atende os produtos da família ID. Identificamos que estava relacionada com uma migração dos clientes para novos fluxos via SDK, quando ocorreu uma sobrecarga inesperada do banco de dados de produção devido à utilização de uma query não perfomática. Isso resultou em 100% de utilização da CPU do banco de dados, levando à indisponibilidade do backend e SDK em produção.

Para mitigar o problema, realizamos o resize do banco de dados, adicionando mais recursos de CPU, e reiniciamos o banco. Além disso, desativamos o ambiente de homologação (UAT) dos clientes para evitar impactos adicionais no ambiente produtivo. Essas ações foram cruciais para restaurar a estabilidade dos serviços afetados. O ambiente foi estabilizado por volta das 14:30.

Para evitar cenários futuros, nosso time criou um plano de ação que consiste em:

Revisão da query ofensora para otimização/performance;
Criação de réplicas DB read-only para consultas
Melhorias no processo de gestão de versões cliente & server side
Melhorias em nosso sistema de monitoração e observabilidade

Posted Apr 23, 2024 - 15:22 GMT-03:00

Resolved

O ambiente está restabelecido e toda as funções da aplicação estão normalizadas.

Lamentamos o ocorrido e reforçamos que nossos esforços são para que a operação do seu sistema aconteça sempre com a máxima prontidão.

Posted Apr 12, 2024 - 17:10 GMT-03:00

Update

O problema foi resolvido.
Permanecemos na operação assistida do ambiente.

Posted Apr 12, 2024 - 15:02 GMT-03:00

Monitoring

O problema foi resolvido.
Nesse momento estamos dando início a operação assistida do ambiente.

Posted Apr 12, 2024 - 14:56 GMT-03:00

Identified

O problema foi identificado, nossa equipe está trabalhando para restabelecer o serviço o quanto antes.

Posted Apr 12, 2024 - 14:15 GMT-03:00

Update

Continuamos investigando o problema.

Posted Apr 12, 2024 - 13:55 GMT-03:00

Investigating

Identificamos uma falha no produto Unico Check no componente de SDK, causando indisponibilidade para alguns clientes.
Nosso time técnico está investigando o problema.

Posted Apr 12, 2024 - 13:50 GMT-03:00

This incident affected: IDUnico (Fluxo de mensagens, API), Unico IDPay (APIs), and Unico Check (Liveness).