Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Contesto

Shazeer e colleghi propongono uno strato a miscela di esperti con gating sparso: una rete di gating seleziona pochi esperti per ogni esempio, aumentando di molto il numero di parametri a fronte di un costo di calcolo contenuto.