Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Contesto

Rafailov e colleghi formulano l'allineamento alle preferenze come un problema di classificazione risolto direttamente sul modello linguistico, senza addestrare un modello di ricompensa separato né usare reinforcement learning; il metodo è chiamato Direct Preference Optimization.