Team seminar

Quentin Besnard will present his work on continuous learning for time series. Here are the title and abstract (in french):

Apprentissage Continu avec Rejeu Sélectif de données par Attention dans le cadre de Séries Temporelles

L’apprentissage continu est un paradigme émergent depuis une dizaine d’années, visant à adapter les modèles aux environnements dynamiques. Ces évolutions dans le temps peuvent concerner les données (Data Drift) ou les objectifs (Concept Drift). Pour y faire face, la recherche en apprentissage continu explore diverses stratégies d’architecture et de conception des modèles permettant une adaptation régulière tout en luttant contre l’oubli catastrophique (Catastrophic Forgetting), qui entraîne une perte des connaissances acquises. Parmi ces stratégies, on trouve le rejeu des données passées, l’adaptation dynamique de la taille des réseaux de neurones ou encore la régularisation des poids lors de l’apprentissage de nouvelles tâches. Toutefois, ces approches restent souvent contraignantes en raison de leur coût computationnel croissant et de leur forte dépendance au domaine applicatif.

Cette présentation explore une approche innovante basée sur l’Attention, utilisée pour l’échantillonnage et la gestion d’un buffer, afin de faciliter l’adaptation d’un modèle prédictif. Cette approche est indépendante du modèle utilisé et s’intègre comme un complément visant à aider celui-ci dans son adaptation au fil du temps. L’objectif est de gagner en performance, de répondre aux défis de l’oubli catastrophique et en limitant les coûts computationnels croissant souvent associés aux stratégies classiques de rejeu de données.