Approche distributionnelle pour l'apprentissage par renforcement inverse par modèles génératifs inversibles : Vers l'apprentissage de récompenses transférables - École polytechnique
Thèse Année : 2024

Approche distributionnelle pour l'apprentissage par renforcement inverse par modèles génératifs inversibles : Vers l'apprentissage de récompenses transférables

Distributional Inverse Reinforcement Learning with Invertible Generative Models : Towards Transferable Reward Functions

Résumé

Humans possess a remarkable ability to quickly learn new concepts and adapt to unforeseen situations by drawing upon prior experiences and combining them with limited new evidence. Reinforcement Learning (RL) has proven effective in solving sequential decision-making problems in dynamic environments. However, unlike humans, learned policies are not efficiently transferable to different environments. Conversely, the reward function, representing the task's essence, holds promise as a transferable representation. Unfortunately, obtaining an appropriate reward function for the task at hand is often challenging. Indeed translating human intent into mathematical functions to optimise is not straightforward and the slightest implementation error can lead to dramatic unexpected behaviours. This is called the AI alignment issue.Inverse Reinforcement Learning (IRL) attempts to learn a reward function from demonstrations, but there is no guarantee of transferability. The main hypothesis of this thesis is that learning reward functions that are transferable to multiple similar tasks could help mitigate the AI alignment issue getting us closer to algorithms that learn core concepts, akin to human reasonning.In this thesis, we explore the potential of invertible generative models and a distributional perspective in RL as a step towards addressing these challenges. Firstly, we demonstrate how these models can facilitate learning a distribution of optimal policies, each corresponding to different behaviors, while using the same reward function. Secondly, we highlight how these models enable learning distributions of returns for each state-action pair, moving beyond the sole focus on expected values. This approach proves advantageous for tackling IRL tasks, as we can learn the distribution of rewards for each state, interpreting the reward as a distance from the final state. Finally, we reveal that a distributional approach in conjunction with generative models allows for learning distance-based reward functions, which demonstrate transferability in single-step Markov Decision Processes (MDPs).This thesis offers insights into the potential synergy between distributional RL and invertible generative models, opening avenues for developing transferable reward functions and advancing the understanding of adaptability in RL.
Les humains possèdent une capacité remarquable d'apprendre rapidement de nouveaux concepts et de s'adapter à des situations imprévues en s'appuyant sur leurs expériences passées et en les combinant avec des preuves nouvelles limitées. L'apprentissage par renforcement (RL) s'est avéré efficace pour résoudre des problèmes de décision séquentielle dans des environnements dynamiques. Cependant, contrairement aux humains, les politiques apprises ne sont pas transférables efficacement à différents environnements. À l'inverse, la fonction de récompense, représentant l'essence de la tâche, est prometteuse comme représentation transférable. Malheureusement, obtenir une fonction de récompense appropriée pour la tâche à accomplir est souvent difficile. En effet, traduire l'intention humaine en fonctions mathématiques à optimiser n'est pas simple et la moindre erreur d'implémentation peut conduire à des comportements inattendus et dramatiques. C'est ce qu'on appelle le problème d'alignement de l'IA.L'apprentissage par renforcement inverse (IRL) tente d'apprendre une fonction de récompense à partir de démonstrations, mais il n'y a aucune garantie de transférabilité. L'hypothèse principale de cette thèse est que l'apprentissage de fonctions de récompense transférables à plusieurs tâches similaires pourrait contribuer à atténuer le problème d'alignement de l'IA, nous rapprochant ainsi d'algorithmes qui apprennent des concepts fondamentaux, similaires au raisonnement humain.Dans cette thèse, nous explorons le potentiel des modèles génératifs inverses et d'une perspective distributionnelle en RL comme une étape vers l'adressage de ces défis. Premièrement, nous démontrons comment ces modèles peuvent faciliter l'apprentissage d'une distribution de politiques optimales, chacune correspondant à des comportements différents, tout en utilisant la même fonction de récompense. Deuxièmement, nous soulignons comment ces modèles permettent d'apprendre des distributions de rendements pour chaque paire état-action, allant au-delà de la focalisation exclusive sur les valeurs attendues. Cette approche s'avère avantageuse pour aborder les tâches d'IRL, car nous pouvons apprendre la distribution des récompenses pour chaque état, en interprétant la récompense comme une distance par rapport à l'état final. Enfin, nous révélons qu'une approche distributionnelle en conjonction avec des modèles génératifs permet d'apprendre des fonctions de récompense basées sur la distance, qui démontrent une transférabilité dans les processus de décision markoviens (MDP) à une seule étape.Cette thèse offre des insights sur la synergie potentielle entre le RL distributionnel et les modèles génératifs inverses, ouvrant des voies pour développer des fonctions de récompense transférables et faire progresser la compréhension de l'adaptabilité en RL.
Fichier principal
Vignette du fichier
117127_ALAMI_CHEHBOUNE_2024.pdf (19.73 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04862322 , version 1 (03-01-2025)

Identifiants

  • HAL Id : tel-04862322 , version 1

Citer

Simo Alami Chehboune. Approche distributionnelle pour l'apprentissage par renforcement inverse par modèles génératifs inversibles : Vers l'apprentissage de récompenses transférables. Computer Science [cs]. Institut Polytechnique de Paris, 2024. English. ⟨NNT : 2024IPPAX006⟩. ⟨tel-04862322⟩
0 Consultations
0 Téléchargements

Partager

More