PyTorch

借助计算依赖图与使用者计数，清理既不影响输出也无副作用的节点。

PyTorch 的非重入 activation checkpoint 在反向传播需要中间张量时重新执行对应前向片段，以额外计算换取更低的激活存储需求。