vLLM

把上下文身份编码进块哈希，让重复请求共享已经计算的 KV cache。

缓存块命中后可能需要从队列中间移除，双向链表让这一步保持常数时间。

将逻辑连续的 token 缓存映射到分散的物理块，减轻显存碎片与重复存储。

vLLM V1 每轮分配 token 预算，先继续运行中的请求，再尝试接纳等待者；KV 块不足时抢占请求，把它放回等待队列。