跳到主要内容

杂记

零散随笔 · 共 5 篇

置顶 技术 FlashAttention 推理优化

FlashAttention：把 O(n²) 显存压成 O(n)

不换算法，只靠分块与重计算，让标准注意力在长序列上快一个量级。

技术 Markdown 写作

Markdown 语法演示

本站支持的 Markdown 语法效果一览：文字样式、列表、引用、代码、表格、公式与 Mermaid 图。

技术 Triton CUDA

Triton 入门：写第一个 kernel

用 Triton 重写向量加法，理解 program、tl.arange 与 block 启动背后的模型。

技术 性能分析 CUDA

GPU 性能分析工具地图

nvidia-smi、PyTorch Profiler、Nsight Compute 各自看什么，先看哪个指标。

职业 秋招 求职

秋招准备清单

一份按时间倒排的秋招任务清单：从提前批到补录，每个节点该做什么。