Todas as páginas ficaram em branco após uma publicação

Logo depois de uma publicação o ambiente deixou de mostrar qualquer página e passou a entregar somente telas brancas, a proximidade entre os dois eventos era um sinal forte, mas ainda precisávamos coletar os erros para não reverter às cegas e esconder a origem da falha.

O primeiro cuidado foi preservar o cenário como ele aparecia naquele momento, marcamos o horário exato da lentidão, as páginas envolvidas, os perfis afetados e o que continuava respondendo normalmente, depois reunimos aplicação, banco, tarefas agendadas, cache, armazenamento e integrações no mesmo intervalo, pois olhar apenas para uso médio de processador costuma esconder consultas bloqueadas e filas concentradas.

Quando já sabíamos quem era afetado, reproduzimos a ação com medição em cada etapa e comparamos o comportamento em cursos, contas e volumes diferentes, verificando consultas, quantidade de linhas, chamadas repetidas, bloqueios e trabalho executado em segundo plano, sempre mudando uma variável por vez para não atribuir a melhora ao ajuste errado.

A causa apareceu quando colocamos lado a lado o que funcionava e o que falhava, pois uma atualização de código interrompeu o ambiente e todas as páginas passaram a responder em branco. coincidiu com uma alteração mensurável nos registros e no tempo de resposta, a solução foi validada repetindo o cenário que provocava a falha e acompanhando o período seguinte para confirmar que a fila não estava apenas sendo empurrada para outro horário.

Guardamos os registros, identificamos o primeiro erro e o momento exato em que começou, então acionamos o procedimento de reversão para recuperar o serviço com rapidez, depois a alteração foi revisada fora do ambiente principal e só voltou quando conseguiu passar pelos mesmos caminhos que haviam falhado.