Distillation de politiques hors-politique

Les défis de la distillation traditionnelle

Les approches classiques de distillation de politiques reposent souvent sur un compromis entre deux aspects : la qualité des trajectoires générées par le modèle enseignant et la similarité entre ces trajectoires et celles produites par l’étudiant. La distillation off-policy, qui utilise des données générées par le modèle étudiant lui-même, peut conduire à des divergences importantes si l’étudiant s’écarte de la distribution du professeur. Inversement, la distillation on-policy, qui utilise les trajectoires du professeur, peut être moins efficace si le professeur explore un espace de recherche très différent de celui de l’étudiant. Ces disparités peuvent entraîner une perte d’informations et une diminution des performances de l’étudiant.

L’émergence de nouvelles approches : SCOUT et IPD

Des recherches récentes se concentrent sur des méthodes plus sophistiquées, comme Student-COnditioned Updates of the Teacher (SCOUT) proposée par cs.AI updates on arXiv.org. Cette approche introduit un cadre d’entraînement coopératif où le professeur est optimisé pour superviser les trajectoires générées par l’étudiant. En utilisant un apprentissage par renforcement avec des récompenses vérifiables, le professeur apprend à s’adapter aux variations de la stratégie de l’étudiant, améliorant ainsi son efficacité en tant que superviseur. Cette méthode permet de limiter la dégradation des performances du professeur au fil de l’évolution de la trajectoire étudiée.

Parallèlement, Interactive-Policy Distillation (IPD), également développée par cs.AI updates on arXiv.org, propose une approche interactive où le professeur et l’étudiant interagissent pour générer conjointement des trajectoires. Ce mécanisme bidirectional propose-et-vérifie permet de s’adapter à la source de chaque token, offrant une solution flexible pour gérer les différences entre les distributions des deux modèles. Cette approche vise à réduire l’unanchoring, un problème courant dans l’OPD où le modèle étudiant s’écarte trop de la trajectoire du professeur.

L’Interpolation comme voie intermédiaire

L’article “Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation” (cs.AI updates on arXiv.org) explore une approche novatrice qui considère l’on-policy et l’off-policy distillation comme des extrémités d’un continuum de politiques. Cette méthode, appelée Interpolated Policy Distillation (IPD), définit la distribution du prochain token à chaque étape de décodage comme une interpolation linéaire entre les distributions du professeur et de l’étudiant. Le coefficient de cette interpolation permet un contrôle précis sur l’équilibre entre la qualité des trajectoires et la facilité d’apprentissage de l’étudiant.

L’importance des données dans le transfert

L’étude “Beyond Prompt Count: How Data Shapes Transfer in On-Policy Distillation” (cs.AI updates on arXiv.org) met en lumière un aspect crucial souvent négligé : l’impact du choix des données sur la performance de la distillation. Cette recherche démontre que la quantité de prompts, leur source et leur sélection peuvent avoir un effet significatif sur le transfert de connaissances entre les modèles professeur et étudiant. L’étude révèle que l’efficacité d’un prompt n’est pas intrinsèque mais dépend de sa relation avec le modèle enseignant, et que changer seulement le professeur peut inverser l’utilité relative des prompts mathématiques ou de code.

Ce qu’il faut retenir

• La distillation de politiques est un domaine en évolution rapide, explorant des approches pour améliorer l’efficacité du transfert de connaissances entre modèles.
• Les méthodes traditionnelles d’on-policy et d’off-policy présentent des limitations liées à la divergence potentielle entre les distributions des modèles professeur et étudiant.
• Des techniques innovantes comme SCOUT, IPD et IPD offrent des solutions pour s’adapter aux variations de stratégies et contrôler l’équilibre entre qualité et learnability.
• Le choix des données utilisées dans le processus de distillation joue un rôle crucial, impactant significativement la performance du modèle étudiant.