FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

Contesto

Dao e colleghi propongono un algoritmo di attenzione esatto che usa il tiling per ridurre le letture e scritture di memoria tra la HBM e la SRAM della GPU; riportano esecuzione più rapida e minore occupazione di memoria.