Measuring AI Ability to Complete Long Software Tasks

Contesto

METR propone di misurare le capacità dei modelli in base alla durata dei compiti che riescono a completare, usando l'orizzonte temporale al 50% di successo; stima che questo orizzonte raddoppi circa ogni sette mesi dal 2019.