LoRA: Low-Rank Adaptation of Large Language Models

Contesto

Hu e colleghi congelano i pesi del modello e addestrano matrici di rango ridotto in parallelo a quelli; il numero di parametri addestrabili si riduce di ordini di grandezza.