参数矩阵覆盖热力图 输入长度 × 输出长度（格内为已测 速率×并发 组合数）
吞吐 — 首响延迟 全景 每点一轮测试；横轴请求吞吐，纵轴 TTFT p50，点大小 ∝ 输出吞吐
输出 token 吞吐排行 按「流式 chunk 计数」的干净口径
测试时间线 各轮上传时间与时长
已选运行 在「运行列表」中勾选 2–8 轮加入对比
关键指标对比 选择指标
TTFT 分位曲线对比 p50 → p99
ITL 分位曲线对比 真实逐 token 间隔
对比明细表
自动化数据洞察
以下结论由平台对当前全部实验数据动态计算生成——点击「同步数据」后会随新数据自动更新。 严重度标识：关键 影响指标可信度； 重要 影响容量/SLO 决策； 观察 性能特征与规律。
实验方法
远程 Ascend NPU 服务器执行 web/test.sh，对部署于 http://192.168.105.19:1025 的
Qwen3-32B切分推理服务进行 vllm bench serve 参数矩阵压测：
- 数据集：
random（随机 token 序列），--ignore-eos强制生成到目标长度； - 参数矩阵：输入长度 {512, 1024, 4096, 8192, 12288} × 输出长度 {256, 512, 1024, 2048, 4096, 8192, 12288} × 请求速率 {0.25, 0.5, 1.0, 1.5, 2.0} req/s × 最大并发 {64, 128, 256}，每轮 500 条请求，共 525 个组合；
- 三批调度：批次 1 = 低负载长度稀疏覆盖 + 两个代表长度对（in512/out256、in4096/out1024）的全负载扫描 + 重载哨兵； 批次 2 = 补全低负载长度网格 + in1024/out512 全负载扫描；批次 3 = 其余全部组合；
- SLO / goodput 定义：TTFT < 2000 ms 且 TPOT < 50 ms；
- 每轮结束后将运行目录打包 tar.gz 上传至本文件接收服务器（轮间冷却 10 s，批间 30 s）。
数据管线
远程 NPU 服务器 ──vllm bench serve──▶ 结果 JSON + 日志
│ tar.gz (每轮)
▼
File Receive Server (端口 18766, FastAPI)
▼ 解包
uploads/<experiment_id>/<时间戳>/extracted/<test_name>/
▼ 只读扫描（本平台, 端口 18767）
紧凑派生缓存 (web/cache/) ──▶ 本页面
指标释义
| TTFT | Time To First Token，请求发出到收到第一个 token 的时间（首响延迟，含排队 + prefill）。 |
|---|---|
| ITL | Inter-Token Latency，流式输出中相邻两个 chunk 的间隔。反映真实解码节奏的最可靠指标。 |
| TPOT | Time Per Output Token = (E2E − TTFT) / (output_len − 1)。⚠ 本批数据中 output_len 取「生成文本重分词」计数，随机数据集下被严重低估，导致 TPOT 尾部失真（详见洞察页）。 |
| E2EL | End-to-End Latency，请求整体完成时间。 |
| Goodput | 满足 SLO（TTFT<2s 且 TPOT<50ms）的请求吞吐。受 TPOT 失真与阈值设定影响，本批数据中接近 0。 |
| 干净 TPOT | 本平台计算：每请求平均 ITL（= 解码总时长 / 实际流式 chunk 数），不受重分词假象影响。 |
| 干净输出吞吐 | 按实际流式 chunk 数（而非重分词数）统计的输出 token 吞吐。 |
平台说明
本平台对 uploads/ 目录完全只读：扫描结果 JSON → 提炼为紧凑派生数据并缓存（解析一次，之后永不重复解析大文件）。
「同步数据」按钮触发增量扫描，只处理新增/变化的文件，对正在运行的文件接收服务无任何影响。