Training Compute-Optimal Large Language Models

Contesto

Hoffmann e colleghi stimano che, a budget di calcolo fisso, dimensione del modello e numero di token di addestramento vadano fatti crescere in proporzione simile; il modello Chinchilla da 70 miliardi di parametri supera Gopher da 280 miliardi.