Survey de Otimizadores: O Design Space Expandido em 2025-2026
Este survey organiza otimizadores recentes e métodos de otimização de treinamento em quatro eixos independentes: estimação temporal, geometria de atualização, horizontes de treinamento e representações de estado. A pesquisa revela como o campo evoluiu além de simples variantes do Adam, incorporando otimização em nível de camada, matrizes e políticas dinâmicas que lidam com computação de baixa precisão e sharding.
Ler artigo completo