LLM 推理吞吐提升 5 倍：Continuous Batching 落地笔记推理优化
→
静态 batching 的吞吐天花板在哪里，continuous batching 又是如何打破它的。
FEATURED · 置顶
千卡集群训练稳定性：故障域隔离与自动恢复实践
从 NCCL 掉线到 checkpoint 分级恢复策略，拆解千卡规模下把 MTBF 从小时级拉升到天级的完整方案——硬件、网络、调度三层怎么做冗余。
ALL POSTS
GPU 共享调度：在 K8s 上跑满每一张卡云原生
→
分时复用与显存切分的取舍，基于 Volcano 的调度器改造经验。
大模型训练的网络调优：RDMA 与参数面网络设计训练集群
→
双平面网络、拥塞控制与拓扑感知调度，训练速度提升 23% 的实战记录。
订阅 Novali
新文章发布时第一时间收到邮件通知，不发广告。
✓ 订阅成功，感谢关注！