OmniAssistBench: Benchmark para Avaliar Assistentes de Vídeo em Tempo Real
Propõe o primeiro benchmark para avaliar modelos omni-modais como assistentes interativos de vídeo que percebem ambientes e guiam usuários em tempo real. Diferencia-se de abordagens passivas ao exigir que modelos combinem estados visuais, objetivos do usuário e conhecimento prévio, resolvendo o desafio de avaliar comportamento dinâmico onde respostas do modelo alteram ações futuras do usuário.
Ler artigo completo