Melhoria de imagem e vídeo subaquáticos por aprendizagem auto-supervisionada e tarefa-pretexto baseada em degradação
Autor: Claudio Dornelles Mello Junior (Currículo Lattes)
Resumo
Ao longo dos últimos anos, a melhoria de imagens subaquáticas têm configurado campo de investigação bastante dinâmico. Cenas submersas estão sujeitas aos efeitos da água, que provoca distorções na cor e contraste, perda na definição de bordas e contornos e color cast. A turbidez provocada por partículas em suspensão na água e a respectiva interação com a luz ambiente são as principais causas destas distorções. As propostas para a redução ou remoção destes efeitos concentram-se em métodos utilizando Processamento Digital de Imagens e métodos baseados em aprendizado profundo. O processamento digital de imagens têm mostrado resultados expressivos, a custa de uma rigidez metodológica. Em outro contexto, os métodos baseados em aprendizado profundo mostram-se progressivamente mais consistentes, com resultados bastantes efetivos. O presente trabalho apresenta proposta para realce de imagens e vídeos subaquáticos, baseado em aprendizado profundo e abordagem auto-supervisionada. Considera-se que uma imagem subaquática tende a apresentar distorção em algum nível e que esta distorção pode fornecer informações necessárias para a sua redução ou remoção. Na metodologia proposta, aumenta-se a degradação na imagem de saída de uma rede autoencoder de acordo com a presente na imagem de entrada. Gera-se, assim, uma imagem com degradação mais intensa, que é comparada a imagem de entrada na função de perda durante o treinamento. Este procedimento produz maior penalização na função de perda durante o treinamento, condicionando o aprendizado da rede a remover a distorção adicional. A imagem de entrada é, assim, decodificada na saída da rede com distorção reduzida. O algoritmo proposto não requer dados pareados ou processamento prévio, utilizando apenas como informação a imagem de entrada. A aplicação da metodologia proposta para realce de vídeo subaquático conta com estratégia para prover consistência temporal. Na proposta, considera-se que as features associadas ao ambiente não variam de forma significativa entre dois quadros sucessivos e que o resultado para a ação de realce deve ser o mesmo. O algoritmo realiza o ajuste nas intensidades dos pixels dos frames, evitando alterações intensas e repentinas no valor dos pixels na transição entre frames. Os resultados alcançados mostram que o método é efetivo tanto na recuperação de cor, contraste e textura como na redução na percepção da turbidez. Em relação a vídeo, além do realce, resultados obtidos com sequências reais mostram que a estratégia adotada provém consistência temporal.