Diego Ramos Tech

A migração a quente de 500 TB de moodledata

Uma pré cópia extensa, sincronizações incrementais, controle de exclusões e um delta final pequeno o suficiente para caber na janela de manutenção. Quinhentos terabytes não eram quinhentos terabytes iguais O número total chamava atenção, mas planejar a migração exigia entender o que havia dentro dele, então o primeiro inventário separou arquivos ativos do Software Moodle™, vídeos, backups de cursos, temporários, caches, pacotes de processamento e conteúdos que já aguardavam exclusão, relacionando tamanho, ...

O banco foi atualizado, mas o servidor manteve código antigo

Uma publicação incompleta deixou o banco em uma versão nova enquanto parte dos arquivos do servidor permaneceu antiga.Páginas diferentes exibiam erros de versões incompatíveis depois da atualização, algumas funcionavam e outras carregavam código antigo, um comportamento que mostrava que a publicação não havia chegado da mesma forma a todos os arquivos usados pelo servidor.Em vez de começar pela correção mais provável, identificamos o curso, a atividade, a versão do material, o dispositivo e a forma de acesso, ...

A migração de um bilhão de linhas de logs

Como reduzimos a pressão sobre o banco operacional sem perder histórico, auditoria e relatórios, movendo dados antigos em lotes enquanto novos eventos continuavam chegando. O banco ainda respondia, mas cada mês custava mais A tabela de logs crescia todos os dias e por muito tempo o aumento foi absorvido com mais espaço, manutenção e índices, até que relatórios começaram a percorrer períodos enormes, rotinas de limpeza demoravam cada vez mais e operações comuns do banco disputavam recursos com consultas ...

Todos os backups automáticos falharam antes da migração

O diretório de destino estava sem espaço e nenhum curso possuía uma cópia recente na semana da mudança de servidor.Na semana da migração descobrimos que os cursos não tinham cópias recentes, embora as tarefas automáticas aparecessem programadas, uma situação que tornava arriscado continuar a mudança antes de saber por que todos os arquivos novos haviam deixado de ser criados.O primeiro cuidado foi preservar o cenário como ele aparecia naquele momento, marcamos o horário exato da lentidão, as páginas envolvidas, ...

O cron ficou parado e acumulou milhares de tarefas

Mensagens, conclusões e matrículas deixaram de ser processadas enquanto milhares de tarefas se acumulavam na fila.Os primeiros sinais apareceram separados, mensagens atrasadas, conclusões que não avançavam e matrículas que demoravam a chegar, mas todos dependiam do mesmo processamento automático e a fila crescia enquanto o cron permanecia sem execução.Antes de alterar qualquer configuração, separamos acesso ao ambiente de acesso ao curso, confirmamos se as contas entravam normalmente, consultamos participantes, ...

Uma configuração urgente não aparecia para os usuários

O valor havia sido alterado na administração, mas caches e um serviço ainda mantinham a versão anterior para os usuários.A configuração aparecia correta para a equipe administrativa e mesmo assim os usuários continuavam vendo o valor antigo, por isso repetir a alteração não produziria resultado enquanto as camadas responsáveis por guardar a versão anterior permanecessem ativas.Em vez de começar pela correção mais provável, marcamos o horário exato da lentidão, as páginas envolvidas, os perfis afetados e o que ...

O Moodle deixou de aceitar novas conexões

O limite de processos do PHP foi atingido e centenas de usuários passaram a receber erro mesmo com o servidor ainda ativo.O servidor continuava respondendo aos testes básicos, porém novas páginas falhavam para centenas de usuários porque todos os processos disponíveis do PHP já estavam ocupados, uma diferença que explicava por que o monitoramento simples dizia que a máquina estava no ar enquanto ninguém conseguia trabalhar.O primeiro cuidado foi preservar o cenário como ele aparecia naquele momento, conferimos ...

Os usuários eram desconectados no meio das avaliações

O Redis reiniciava por falta de memória e derrubava as sessões de vários alunos durante as provas.Vários alunos eram desconectados durante as avaliações e precisavam entrar novamente, os relatos aconteciam nos mesmos períodos e mostravam que não era uma queda de internet em cada casa, mas alguma coisa comum às sessões mantidas pelo ambiente.Para não transformar uma suspeita em diagnóstico, registramos a atividade, o aluno, a tentativa, as datas, a regra de conclusão e o resultado exibido em cada tela, evitando ...

O servidor ficou sem espaço e bloqueou todos os envios

Backups antigos e arquivos temporários ocuparam o disco, impedindo entregas de atividades e fazendo os novos backups falharem.Os alunos deixaram de conseguir enviar atividades ao mesmo tempo em que os backups começaram a falhar, dois sintomas diferentes que tinham a mesma origem porque o servidor já não possuía espaço para gravar arquivos novos.Antes de alterar qualquer configuração, identificamos o curso, a atividade, a versão do material, o dispositivo e a forma de acesso, porque um conteúdo pode funcionar no ...

Todas as páginas ficaram em branco após uma publicação

Uma atualização de código interrompeu o ambiente e todas as páginas passaram a responder em branco.Logo depois de uma publicação o ambiente deixou de mostrar qualquer página e passou a entregar somente telas brancas, a proximidade entre os dois eventos era um sinal forte, mas ainda precisávamos coletar os erros para não reverter às cegas e esconder a origem da falha.O primeiro cuidado foi preservar o cenário como ele aparecia naquele momento, marcamos o horário exato da lentidão, as páginas envolvidas, os perfis...