基准测试：fio 与 elbencho

iostat -xz 1                    # 请求真的到达设备了吗？IOPS、块大小、aqu-sz 与 fio 设定一致吗？
mpstat -P ALL 1                 # 有没有某个核被打满（fio 进程或中断处理）？
pidstat -u -t -p $(pgrep -d, fio) 1   # fio 各线程的 CPU 占用
sudo biolatency-bpfcc -D 10 1   # 设备层的延迟分布，和 fio 报告的对得上吗？

sudo apt install -y fio
fio --version
fio --enghelp            # 列出本机可用的 I/O 引擎

; NVMe 基线测试：只读，可安全地在有数据的盘上运行
[global]
filename=/dev/nvme0n1
readonly
direct=1
ioengine=libaio
time_based
runtime=60
ramp_time=10
group_reporting
percentile_list=50:90:99:99.9:99.99

; 1. 延迟：单并发，看最好情况下的单次延迟
[lat-qd1]
rw=randread
bs=4k
iodepth=1
numjobs=1

; 2. IOPS：高并发 4K 随机读
[iops-randread]
stonewall
rw=randread
bs=4k
iodepth=32
numjobs=4

; 3. 带宽：1M 顺序读
[bw-seqread]
stonewall
rw=read
bs=1m
iodepth=16
numjobs=1

sudo fio nvme-baseline.fio --output=nvme-baseline-$(date +%F).txt
sudo fio nvme-baseline.fio --section=iops-randread     # 只跑其中一个

iops-randread: (g=1): rw=randread, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=32
...
fio-3.36
iops-randread: (groupid=1, jobs=4): err= 0: pid=12345: Thu Sep 24 14:20:31 2026
  read: IOPS=398k, BW=1555MiB/s (1631MB/s)(91.1GiB/60001msec)
    slat (nsec): min=1150, max=412k, avg=2540.12, stdev=1201.33
    clat (usec): min=18, max=5210, avg=318.55, stdev=120.44
     lat (usec): min=21, max=5213, avg=321.20, stdev=120.51
    clat percentiles (usec):
     |  1.00th=[  119],  5.00th=[  157], 10.00th=[  186], 20.00th=[  229],
     | 30.00th=[  262], 40.00th=[  289], 50.00th=[  310], 60.00th=[  334],
     | 70.00th=[  363], 80.00th=[  400], 90.00th=[  469], 95.00th=[  537],
     | 99.00th=[  652], 99.50th=[  725], 99.90th=[ 1045], 99.95th=[ 1319],
     | 99.99th=[ 2442]
   bw (  MiB/s): min= 1480, max= 1602, per=100.00%, avg=1556.20, stdev= 5.12, samples=476
   iops        : min=378912, max=410200, avg=398387.00, stdev=1310.55, samples=476
  lat (usec)   : 20=0.01%, 50=0.05%, 100=0.52%, 250=25.80%, 500=66.40%
  lat (usec)   : 750=6.80%, 1000=0.30%
  lat (msec)   : 2=0.10%, 4=0.01%, 10=0.01%
  cpu          : usr=12.50%, sys=38.20%, ctx=1520345, majf=0, minf=180
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.1%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=23897000,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 1 (all jobs):
   READ: bw=1555MiB/s (1631MB/s), 1555MiB/s-1555MiB/s (1631MB/s-1631MB/s), io=91.1GiB (97.8GB), run=60001-60001msec

Disk stats (read/write):
  nvme0n1: ios=23880000/0, sectors=191040000/0, merge=0/0, ticks=7560000/0, in_queue=7560000, util=99.90%

#!/usr/bin/env bash
# 扫描队列深度，输出 QD、IOPS、平均延迟、p99（单位 µs）
DEV=${1:?usage: $0 /dev/xxx}
echo "qd,iops,lat_avg_us,p99_us"
for qd in 1 2 4 8 16 32 64 128 256; do
  sudo fio --name=sweep --filename="$DEV" --readonly --direct=1 --ioengine=io_uring \
    --rw=randread --bs=4k --iodepth=$qd --numjobs=1 --runtime=30 --ramp_time=5 \
    --time_based --output-format=json |
  jq -r --arg qd "$qd" '.jobs[0].read |
    [$qd, (.iops|floor), (.lat_ns.mean/1000|floor), (.clat_ns.percentile."99.000000"/1000|floor)] | @csv'
done

DEV=/dev/nvme1n1        # 再确认一遍：这块盘上的数据会全部丢失

# 1. 回到出厂状态（可选）：整盘 TRIM
sudo blkdiscard $DEV

# 2. 顺序写满两遍，让每个 LBA 都有映射
sudo fio --name=prefill --filename=$DEV --direct=1 --ioengine=libaio \
  --rw=write --bs=128k --iodepth=32 --loops=2

# 3. 用目标负载持续随机写，直到 IOPS 稳定（fio 自带稳态检测）
sudo fio --name=ss-randwrite --filename=$DEV --direct=1 --ioengine=libaio \
  --rw=randwrite --bs=4k --iodepth=32 --numjobs=4 --group_reporting \
  --time_based --runtime=4h \
  --steadystate=iops_slope:0.3% --steadystate_duration=30m --steadystate_ramp_time=10m

# 12 块 NVMe 同时顺序读，48 个线程，每次 4 MiB（只读，安全）
sudo elbencho -r -b 4M -t 48 --direct -s 100g /dev/nvme{0..11}n1

TESTDIR=/fs1/testdir
# 写再读，每个线程一个 32 GB 文件；然后删除
elbencho -w -r -n 0 -t 1 -s 32g -b 4M --direct --base10 $TESTDIR
elbencho -F -n 0 -t 1 $TESTDIR

elbencho -r -n 0 -t 16 -s 32g -b 4K --direct --iodepth 10 --rand --timelimit 120 --base10 $TESTDIR

# 32 个线程，每个线程 1 个目录、每个目录 50000 个 4 KiB 文件：
# 建目录 → 写 → stat → 读 → 删文件 → 删目录，每个阶段单独出结果
elbencho -d -w --stat -r -F -D -t 32 -n 1 -N 50000 -s 4k -b 4k --direct --base10 $TESTDIR

# 在所有客户端上启动服务（默认监听 1611 端口）
pdsh -R ssh -w client[01-04] elbencho --service

# 在控制节点上发起测试：4 台客户端 × 16 线程，每个线程写再读一个 16 GB 文件
elbencho --hosts client01,client02,client03,client04 \
  -w -r -n 0 -t 16 -s 16g -b 4M --direct --base10 \
  --resfile results-$(date +%F).txt /fs1/testdir

# 测完结束服务
elbencho --hosts client01,client02,client03,client04 --quit

OPERATION RESULT TYPE        FIRST DONE  LAST DONE
========= ================   ==========  =========
WRITE     Elapsed ms       :      48210      53880
          IOPS             :       4797       4531
          Throughput MB/s  :      20120      19005
          Total MB         :     970000    1024000
---
READ      Elapsed ms       :      40150      43000
          IOPS             :       5865       5678
          Throughput MB/s  :      24600      23814
          Total MB         :     987690    1024000
---

# <测试对象> 性能测试报告（YYYY-MM-DD）

## 1. 目的
要回答的问题：例如"新 NVMe 型号能否满足数据库 4K 随机读 p99 < 1 ms、20 万 IOPS 的需求"。

## 2. 环境
- 硬件：CPU、内存、盘型号与固件版本、HBA/网卡、PCIe 链路（LnkSta）
- 软件：OS、内核版本、fio/elbencho 版本
- 配置：调度器、nr_requests、read_ahead_kb、文件系统与挂载选项、NUMA 绑定
- 拓扑：客户端数量、网络（型号、速率、MTU）、存储节点数量

## 3. 负载定义与方法
- 负载：块大小、读写比、随机/顺序、QD × jobs、数据量（与缓存大小的比较）
- 预处理：是否 TRIM、填充方式、稳态判定条件
- 时长与重复：每项 ramp X 秒 + 运行 Y 秒，重复 N 次
- job 文件 / 命令：见附件

## 4. 结果
| 测试项 | IOPS（均值 ± 标准差） | 带宽 | p50 | p99 | p99.9 |
|---|---|---|---|---|---|

## 5. 分析（主动基准测试）
- 每项的限制因素是什么？证据是什么（iostat / mpstat / biolatency 截图）？
- 合理性检查：是否超过设备与链路上限？
- 异常与波动：出现在何时，原因是什么？

## 6. 结论与局限
- 对"目的"中问题的直接回答
- 测试没有覆盖的情况（例如：未测满盘、未测故障降级状态）

## 7. 附件
job 文件、原始输出（JSON）、采集的 iostat/sar 日志