Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Contesto

Gu e Dao propongono un modello a spazi di stato selettivi che scala linearmente con la lunghezza della sequenza senza attenzione; il paper riporta una velocità di inferenza superiore a quella dei Transformer e una scalatura lineare con la lunghezza.