Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

Contesto

Fedus, Zoph e Shazeer semplificano il routing della miscela di esperti instradando ogni token a un solo esperto; con questa architettura addestrano modelli fino a mille miliardi di parametri.