A · 2 HOURS
课程快速介绍
第一次接触推理系统，或用于单次专题讲座。中文 60 页，英文 124 页。
Choose a route
按你的时间选择材料
三套课件共享同一术语、算例和研究边界，但服务不同教学节奏。
B · 8 LECTURES
八讲主课程
2027 年默认授课节奏。每讲 48 页、2 小时，共 16 小时，适合完整开课。
C · 14 TOPICS
十四讲细分版
保留 LaTeX Beamer 源码和 PDF，适合按周次拆分、研讨与代码导读。
One request, end to end
用一条请求串起整门课
课程不把推理缩成一次前向计算，而是追踪请求、状态、控制点和指标的完整闭环。
- 01输入聊天模板与 Tokenizer
- 02准入等待队列与资源检查
- 03调度Token、KV 与执行预算
- 04Prefill处理上下文并建立 KV
- 05Decode逐步生成并更新状态
- 06返回采样、流式输出与释放
- 07验证TTFT、TPOT、P99、Goodput
16-hour core course
八讲主课程
从系统边界进入，经过机制、架构与优化，最后落到论文验证和开源项目。
01课程导论与评价指标请求边界 · TTFT · TPOT · P99 · Goodput↓
02请求生命周期与 Prefill / DecodeTransformer 路径 · 状态演化 · 逐步生成↓
03请求调度与连续批处理排队 · Token Budget · 抢占 · 公平性↓
04KV 缓存与状态管理容量 · 分页 · 复用 · 迁移 · 失效↓
05推理系统架构与代码阅读Runtime · Worker · Kernel · 可观测性↓
06执行优化与异构平台适配Roofline · Attention · 量化 · 并行通信↓
07论文比较与实验验证工作负载 · Baseline · 控制变量 · 证据边界↓
08开源实践与课程项目Issue · PR · 测试 · 可复现证据链↓
Read · Run · Verify
从课件走向系统实践
Nano-vLLM 教学代码
沿着请求入口、调度器、KV 管理和模型执行路径阅读一套最小可运行实现。
进入代码 ↗实验与课程项目
从环境检查、最小复现到可审计实验记录，把系统主张落实为证据。
查看实验 ↗Tutorial 与研究案例
结合 vLLM、SGLang、DistServe、Mooncake、FlashInfer 等工作理解机制边界。
阅读 Tutorial ↗Single source of truth
所有正式材料只在课程仓库维护
主页负责导航，PPTX、PDF、源码与实验材料保持在同一版本历史中。课程仓库当前为私有仓库，下载材料需要相应的 GitHub 权限。