连续批处理Continuous batching
每次推理迭代重新安排活跃请求,完成者退出,等待者按 token 与 KV 缓存预算加入。
调度开销取决于候选请求和缓存块数量;模型计算另计分配执行机会和服务份额,控制请求速率与突发。
每次推理迭代重新安排活跃请求,完成者退出,等待者按 token 与 KV 缓存预算加入。
调度开销取决于候选请求和缓存块数量;模型计算另计从具备资格的实体中选择虚拟截止时间最早者。
Linux v6.12 的增强树选择按固定速率消减积压,按突发规则处理新增请求。
策略算术通常 ,键查找成本另计通过保留量、权重和上限协调不同请求类别。
需结合队列、分片和底层设备分析以固定速率补充令牌,请求消耗令牌,桶容量限制可积累突发量。
策略更新通常 ,键查找与并发成本另计逐轮累加候选权重,选最高分者并扣除总权重,使份额交错分配。
朴素实现每次选择 ,n 为候选节点数以按权重换算的虚拟运行时间衡量实体已获得的 CPU 服务。
Linux v6.5 红黑树更新 ;缓存最左候选读取