机器学习训练与推理框架
计算图、张量执行、内存复用与分布式训练
源码导读GitHub 仓库
AI 基础设施
模型计算、推理服务、向量检索与通信
张量计算与机器学习框架
FX 计算图分析与变换
2 篇实现分析GitHub 仓库
大语言模型推理与服务
KV cache 索引、分页与块回收
4 篇实现分析GitHub 仓库
向量相似度检索
图导航、倒排分桶与向量压缩
3 篇实现分析GitHub 仓库
数组计算与程序变换库
自动微分、图变换、编译与批处理
源码导读GitHub 仓库
Attention 计算内核
分块、在线 softmax 与显存 I/O
1 篇实现分析GitHub 仓库
跨平台模型推理运行时
图优化、算子调度与内存规划
源码导读GitHub 仓库
GPU 内核语言与编译器
布局变换、分块、流水线与共享内存
源码导读GitHub 仓库
GPU 集合通信库
Ring 与树形 AllReduce
1 篇实现分析GitHub 仓库
语言模型服务运行时
前缀匹配与 KV cache 复用
1 篇实现分析GitHub 仓库