跳到主要内容

FlashAttention

带「FlashAttention」标签的杂记 · 共 1 篇

置顶 技术 FlashAttention 推理优化

FlashAttention：把 O(n²) 显存压成 O(n)

不换算法，只靠分块与重计算，让标准注意力在长序列上快一个量级。