Séminaire Alasdair Newson
Titre : Une approche variationnelle par patchs pour l’inpainting vidéo, et une analyse des autoencodeurs dans le cas des formes géométriques simples.
Résumé : Dans cette présentation, je parlerai de deux problèmes liés à la restauration des images et des vidéos. Le premier concerne l’inpainting vidéo, c’est-à-dire le remplissage automatique d’une région inconnue dans une vidéo. Il s’agit de travail que j’ai effectué pendant ma thèse. Je présenterai notre algorithme automatique d’inpainting vidéo qui optimise une fonctionnelle fondée sur la notion de patchs dans une approche multi-échelle. J’analyserai quelques uns des problèmes majeurs qui se posent dans ce contexte, et j’expliquerai les solutions que nous avons proposées pour résoudre ces problèmes. Entre autres, nous avons considéré les problématiques suivantes : une complexité élevée due à la recherche de plus proches voisins de patchs, le bon traitement de textures et l’inpainting avec une caméra mobile. Je regarderai brièvement la convergence de l’approche dans un cas simple, et comment cela permet de fixer automatiquement le nombre de niveaux dans l’approche multi-échelle.
Dans un deuxième temps, je parlerai de mes travaux en cours qui concernent les autoencodeurs pour la restauration et pour la synthèse des images. J’analyserai le mécanismes qui permettent aux autoencodeurs d’encoder et de décoder des formes géométriques simples de manière optimale (au sens de la taille de l’espace latent). Je parlerai également de certains problèmes de robustesse, et la capacité de généralisation des autoencodeurs dans le cas de données manquantes.
Title: Variational patch-based video inpainting, and investigating autoencoders in the case of simple geometric shapes.
Abstract: In this presention, I will discuss two subjects connected with image restoration. The first is work which I carried out during my PhD and concerns video inpainting, in other words the automatic filling-on of unknown regions in a video. I shall present our automatic video inpainting algorithm which is based on the optimisation of a patch-based energy functional in a multi-resolution framework. I will look at some of the major challenges which arise in such an approach, and show the solutions which we propose. Among other issues, we have addressed the following problems : long execution times due to the search for the nearest neighbours of patches, dealing with textures in images and videos and inpainting with moving background or cameras. We also take a brief look into some convergence questions in very simple inpainting situations.
Secondly, I will discuss preliminary ongoing work I am carrying out on autoencoders for image restoration and synthesis. I will analyse the precise mechanisms which allow autoencoders to encode and decode simple geometric shapes in an optimal fashion (in the sense of the size of the latent space). I will also look at certain robustness issues, and in particular how well autoencoders generalise in the case of databases with missing datapoints.