先准备一套可复现的实验环境:安装与目标模型兼容的 SGLang,准备适用的 GPU 与 Amazon EFA 环境,并确认模型版本、显存容量和上下文需求。本文实践基于 SGLang 与 Amazon EFA,方法可参考到 vLLM,但具体性能必须实测,不能直接套用原文数据。

第一步先做 benchmark 规划,而不是急着启动服务。写清模型版本、输入与输出 token 长度、请求数、request rate、max concurrency,以及单机、多机、Non-PD、PD 分离、并行策略、投机解码、KV transfer engine、Router、Prefix cache 和 HiCache 等变量;没有明确需求时,可先预研新模型在指定 GPU 上的表现。
第二步建立验收指标,至少记录 TTFT、TPOT、Output Throughput、Request Throughput,以及 PD 分离时的 KV transfer avg latency;重点关注 TTFT 与 TPOT 的 mean、P90、P99。请求速率和并发没有明确值时,可依据 TTFT、TPOT 约束调整,因为高并发虽可能提高吞吐,却可能恶化 TTFT,而 PD 分离的主要价值在于减少 decode 被 prefill 抢占,重点看 P99 TPOT。
第三步执行可复现测试。正式测量前发送与正式流量分布接近的充分 warmup,以触发按实际输入形状编译的 Triton kernel JIT;随后运行脚本化的 SGLang bench_serving,例如使用 random 数据集、指定随机输入输出长度、range ratio 为 1,并记录 request rate 与 max concurrency。对比组必须保持缓存开关、长度、warmup 和并发一致,否则结果没有可比性。

第四步检查原始日志和输出长度,不要只相信 bench_serving 的成功数。HTTP 200 且输出长度达到请求值才是完整成功;如果 HTTP 200 但输出被截断,工具仍可能误判成功,prefill 失败或网络异常才应记为失败。人工抽样核对日志、输出 token 数和请求结果,是避免“跑出了数字却没有跑完请求”的关键步骤。
第五步按显存决定部署形态。单机首先要确认模型参数、KV cache pool、CUDA graph capture 和运行时临时显存能否同时容纳;放不下时再考虑多机,但多机通信开销可能抵消扩容收益。对 MoE 模型还应比较 EP 配置,例如原文中的 DeepSeek-V3 与 Kimi2.5 呈现了不同结论:EP8 改善前者显存与性能,EP1 在后者反而更优,因此不要把某组实验参数当成通用答案。

第六步分别验证多机 Non-PD 与多节点 PD 分离。Non-PD 需要确定 EP 是否跨节点、是否引入 PP、DP attention、DeepEP 等;PD 分离则重点验证 Prefill、Decode 节点配比、网络与 KV 传输延迟、Router 均衡策略。调优时先定位瓶颈,再逐项调整缓存、并行度、并发和请求速率;若出现显存不足、CUDA graph capture 失败或 P99 抖动,应保留日志并做单变量复测。
OpenClaw—AI研究