Training language models to follow instructions with human feedback

Contesto

Ouyang e colleghi addestrano un modello con feedback umano: dimostrazioni, un modello di ricompensa addestrato su confronti tra risposte e ottimizzazione con PPO; gli annotatori preferiscono le sue risposte a quelle di GPT-3 da 175 miliardi di parametri.