Traduzido por Julio Batista
Original de Thomas Macaulay para o The Next Web
O YouTuber Denis Shiryaev revelou sua mais espetacular restauração de vídeo por IA até agora: uma nova montagem de filmagens feitas pelos irmãos Lumière.
Shiryaev passou meses usando o aprendizado de máquina para colorir, aprimorar e realçar uma coleção de filmes dos pioneiros do cinema francês.
Ele começou usando um algoritmo desenvolvido por sua empresa, Neural Love, para remover quadros duplicados da filmagem e restaurar a cadência original do filme.
“Esta é uma etapa crucial para alcançar o efeito de movimento fluido quando fazemos uma versão do vídeo a 60 quadros por segundo (fps)”, explicou Shiryaev no YouTube.
Ele também aplicou estabilização à filmagem, removeu o ruído quando necessário e corrigiu alguns dos danos aos filmes.
Shiryaev então usou redes neurais para aumentar cada quadro para a resolução de 4K, gerar mais quadros até atingir 60 fps e restaurar uma velocidade de reprodução realista para o vídeo.
Ele também coloriu a filmagem e adicionou detalhes aos rostos com um algoritmo baseado em rede generativa adversária (GAN).
Finalmente, ele adicionou novos sons ao filme:
“Os sons não são reais e às vezes eu fazia um péssimo trabalho. Mas eu gosto muito desse efeito ambiente quando, por exemplo, você pode ver e ouvir um cachorro começando a latir na tela e vivenciar o momento como se você estivesse lá.”
Você pode conferir por si mesmo no vídeo abaixo:
A filmagem se junta à crescente filmografia de restaurações com IA de Shiryaev. Mas nem todo mundo aprova seu trabalho.
Acadêmicos alertam que isso cria uma imagem distorcida do passado e prejudica as escolhas do fotógrafo original. Eles temem que cada efeito adicionado também afaste cada vez mais do que foi capturado na época.
Shiryaev reconhece que os vídeos não são historicamente precisos e destinam-se apenas a entretenimento ou fins artísticos:
“As redes neurais só conseguem adivinhar as cores quando estamos fazendo colorização, ou novos pixels quando fazemos upscale, e rostos quando trabalhamos com alguma restauração facial.”
No entanto, as imagens e sons artificiais fornecem uma nova janela para o passado – mesmo que seja bastante nebuloso.
