FlashAttention

Attention 计算内核 · 分块、在线 softmax 与显存 I/O

PythonCUDA

1 个工程案例

FlashAttention·Attention 内核765741c1eeb86c96ee71a3291ad6968cfbf4e4a1 · 2022-06-14

FlashAttention：少搬运注意力中间结果

通过分块、融合与重计算，让注意力计算更适应 GPU 存储层次。

附源码片段 · 内存管理