I/O 调优：调度器、队列与内核参数

基线测量 ──▶ 提出假设 ──▶ 只改一个参数 ──▶ 同样负载重测 ──▶ 对比 ──▶ 保留或回滚
（数据）     （为什么会变好）  （记录旧值）     （重复 3 次）    （均值±标准差）  （写进变更记录）

#!/usr/bin/env bash
# 保存当前的 I/O 相关配置，调优前后各跑一次，用 diff 对比
out=io-snapshot-$(hostname)-$(date +%F-%H%M).txt
{
  uname -r
  for q in /sys/block/{sd*,nvme*n*,vd*}/queue; do
    [ -d "$q" ] || continue
    grep -H . "$q"/{scheduler,nr_requests,read_ahead_kb,max_sectors_kb,max_hw_sectors_kb,rq_affinity,nomerges,rotational,wbt_lat_usec} 2>/dev/null
  done
  sysctl vm.dirty_ratio vm.dirty_background_ratio vm.dirty_bytes vm.dirty_background_bytes \
         vm.dirty_expire_centisecs vm.dirty_writeback_centisecs vm.swappiness vm.vfs_cache_pressure
  findmnt -rno TARGET,SOURCE,FSTYPE,OPTIONS -t xfs,ext4
  command -v tuned-adm >/dev/null && tuned-adm active
} > "$out"
echo "saved to $out"

$ cat /sys/block/nvme0n1/queue/scheduler
[none] mq-deadline
$ cat /sys/block/sda/queue/scheduler
none [mq-deadline]
$ echo bfq | sudo tee /sys/block/sda/queue/scheduler
bfq
$ cat /sys/block/sda/queue/scheduler
none mq-deadline [bfq]

sudo fio --filename=/dev/sdb --direct=1 --ioengine=libaio --runtime=60 --time_based \
  --name=writer --rw=write --bs=1m --iodepth=16 \
  --name=reader --rw=randread --bs=4k --iodepth=1 --percentile_list=50:99

$ grep -H . /sys/block/nvme0n1/queue/{nr_requests,read_ahead_kb,max_sectors_kb,max_hw_sectors_kb,rq_affinity,nomerges,wbt_lat_usec}
/sys/block/nvme0n1/queue/nr_requests:1023
/sys/block/nvme0n1/queue/read_ahead_kb:128
/sys/block/nvme0n1/queue/max_sectors_kb:1280
/sys/block/nvme0n1/queue/max_hw_sectors_kb:2048
/sys/block/nvme0n1/queue/rq_affinity:1
/sys/block/nvme0n1/queue/nomerges:0
/sys/block/nvme0n1/queue/wbt_lat_usec:2000

for ra in 128 1024 4096; do
  echo $ra | sudo tee /sys/block/vdb/queue/read_ahead_kb >/dev/null
  sync; echo 3 | sudo tee /proc/sys/vm/drop_caches >/dev/null
  sudo fio --name=ra-$ra --filename=/mnt/test/bigfile --rw=read --bs=64k \
    --direct=0 --ioengine=psync --size=8g | grep -E 'READ:'
done

# 大内存存储节点：脏页阈值用绝对值，避免一次积累几十 GB
vm.dirty_background_bytes = 536870912    # 512 MiB 开始后台回写
vm.dirty_bytes = 4294967296              # 4 GiB 开始对写入进程限流
vm.swappiness = 10

sudo sysctl --system            # 加载 /etc/sysctl.d/ 下所有文件
sysctl vm.dirty_bytes vm.dirty_ratio

watch -n1 "grep -E '^(Dirty|Writeback):' /proc/meminfo"     # 脏页是否被控制在阈值附近
sudo fio --name=commit --directory=/mnt/test --rw=write --bs=4k --size=64m \
  --fdatasync=1 --runtime=60 --time_based                    # 同时测同步写的 p99

findmnt -no OPTIONS /data              # 查看当前挂载选项
sudo mount -o remount,noatime /data    # 临时生效
# 永久生效：修改 /etc/fstab 对应行的选项，例如
# UUID=...  /data  xfs  defaults,noatime  0 0

# XFS：su = 条带单元，sw = 数据盘数
sudo mkfs.xfs -d su=64k,sw=4 /dev/sdb
xfs_info /data | grep -E 'sunit|swidth'       # 验证：sunit=16 swidth=64 blks（单位 4 KiB 块）

# ext4：stride = chunk / 块大小 = 64K / 4K = 16；stripe_width = stride × 数据盘数 = 64
sudo mkfs.ext4 -E stride=16,stripe_width=64 /dev/sdb
sudo dumpe2fs -h /dev/sdb | grep -iE 'stride|stripe'

$ cat /sys/class/nvme/nvme0/device/numa_node
1
$ lscpu | grep NUMA
NUMA node(s):                         2
NUMA node0 CPU(s):                    0-31,64-95
NUMA node1 CPU(s):                    32-63,96-127

$ grep -H . /sys/block/nvme0n1/mq/{0,1,2}/cpu_list
/sys/block/nvme0n1/mq/0/cpu_list:0, 64
/sys/block/nvme0n1/mq/1/cpu_list:1, 65
/sys/block/nvme0n1/mq/2/cpu_list:2, 66
$ grep -E 'nvme0q[0-3]$' /proc/interrupts      # 截取前 4 个 CPU 列
 134:          0          0          0          0  IR-PCI-MSIX-0000:c1:00.0    0-edge      nvme0q0
 135:    1820345          0          0          0  IR-PCI-MSIX-0000:c1:00.0    1-edge      nvme0q1
 136:          0    1790221          0          0  IR-PCI-MSIX-0000:c1:00.0    2-edge      nvme0q2
 137:          0          0    1802210          0  IR-PCI-MSIX-0000:c1:00.0    3-edge      nvme0q3

# 用 numactl 把进程绑到 NVMe 所在的 node 1（CPU 和内存都绑）
sudo numactl --cpunodebind=1 --membind=1 fio --name=local --filename=/dev/nvme0n1 \
  --readonly --direct=1 --ioengine=io_uring --rw=randread --bs=4k --iodepth=1 --runtime=30 --time_based

# fio 自身也支持 NUMA 绑定
sudo fio --name=remote --numa_cpu_nodes=0 --numa_mem_policy=bind:0 --filename=/dev/nvme0n1 \
  --readonly --direct=1 --ioengine=io_uring --rw=randread --bs=4k --iodepth=1 --runtime=30 --time_based

# NVMe：不使用调度器；纯随机负载的节点可以关闭合并
ACTION=="add|change", KERNEL=="nvme[0-9]*n[0-9]*", ENV{DEVTYPE}=="disk", ATTR{queue/scheduler}="none"

# 机械盘：mq-deadline + 较大的预读
ACTION=="add|change", KERNEL=="sd[a-z]*", ENV{DEVTYPE}=="disk", ATTR{queue/rotational}=="1", ATTR{queue/scheduler}="mq-deadline", ATTR{queue/read_ahead_kb}="4096"

# SATA/SAS SSD：mq-deadline
ACTION=="add|change", KERNEL=="sd[a-z]*", ENV{DEVTYPE}=="disk", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="mq-deadline"

sudo udevadm control --reload
sudo udevadm trigger --subsystem-match=block --action=change
grep -H . /sys/block/*/queue/scheduler
udevadm test /sys/block/sda 2>&1 | grep -i scheduler     # 调试：看规则是否匹配

sudo apt install -y tuned
tuned-adm list                         # 内置的 throughput-performance、latency-performance 等
sudo mkdir -p /etc/tuned/storage-node

[main]
summary=Storage node: based on throughput-performance
include=throughput-performance

[disk]
# 对所有磁盘生效；readahead 前的 > 表示只在当前值更小时才调大
elevator=none
readahead=>4096

[sysctl]
# throughput-performance 会把 vm.dirty_ratio 调到 40，这里覆盖掉
vm.dirty_background_bytes=536870912
vm.dirty_bytes=4294967296
vm.swappiness=10

sudo tuned-adm profile storage-node
tuned-adm active                       # Current active profile: storage-node
sudo tuned-adm verify                  # 检查当前系统设置是否与配置档一致