Scaling Laws for Neural Language Models

Contesto

Kaplan e colleghi misurano come la perdita di un modello linguistico diminuisca come legge di potenza al crescere di dimensione del modello, dati e calcolo di addestramento, con andamenti che coprono più di sette ordini di grandezza.