BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Contesto

Devlin e colleghi presentano BERT, un encoder Transformer pre-addestrato con due compiti, predizione di parole mascherate e della frase successiva, a partire dal contesto bidirezionale; il modello viene poi adattato ai singoli compiti con un fine-tuning aggiuntivo.