全部类别

调度与流控7

分配执行机会和服务份额,控制请求速率与突发。

连续批处理Continuous batching

每次推理迭代重新安排活跃请求,完成者退出,等待者按 token 与 KV 缓存预算加入。

调度开销取决于候选请求和缓存块数量;模型计算另计
EEVDFEarliest eligible virtual deadline first

从具备资格的实体中选择虚拟截止时间最早者。

Linux v6.12 的增强树选择 O(log⁡n)O(\log n)
漏桶Leaky bucket

按固定速率消减积压,按突发规则处理新增请求。

策略算术通常 O(1)O(1),键查找成本另计
mClockReservation / weight / limit

通过保留量、权重和上限协调不同请求类别。

需结合队列、分片和底层设备分析
令牌桶Token bucket

以固定速率补充令牌,请求消耗令牌,桶容量限制可积累突发量。

策略更新通常 O(1)O(1),键查找与并发成本另计
平滑加权轮询Smooth weighted round robin

逐轮累加候选权重,选最高分者并扣除总权重,使份额交错分配。

朴素实现每次选择 O(n)O(n),n 为候选节点数
CFS 公平调度Completely fair scheduler

以按权重换算的虚拟运行时间衡量实体已获得的 CPU 服务。

Linux v6.5 红黑树更新 O(log⁡n)O(\log n);缓存最左候选读取 O(1)O(1)
7 个概念