页缓存用 XArray 把文件页索引映射到 folio,支持稀疏条目和多页 folio。
附源码片段 · 缓存与复用
哪些已有结果值得保留和复用?
关注命中、共享与失效;空闲块分配归入内存管理。
页缓存用 XArray 把文件页索引映射到 folio,支持稀疏条目和多页 folio。
QEMU TCG 用 QHT 保存 TranslationBlock 索引,帮助复用与当前客体执行状态一致的翻译结果。
把上下文身份编码进块哈希,让重复请求共享已经计算的 KV cache。
用压缩前缀树组织 token 序列,让多轮对话和分支生成共享已有 KV。