Pass the Baton: Destilação On-Policy Relayada por Trajetória
Resolve o problema de 'prefix failure' na destilação on-policy, onde modelos estudante cometem erros que se propagam em toda a geração subsequente. A técnica identifica assimetria entre professor e estudante em prefixos falhados e propõe mecanismo de continuação relayada, reduzindo desperdício computacional e melhorando confiabilidade da supervisão.
Ler artigo completo