前言

fio是測(cè)試IOPS的非常好的工具，用來(lái)對(duì)硬件進(jìn)行壓力測(cè)試和驗(yàn)證，支持13種不同的I/O引擎窃爷，包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等屿储。

簡(jiǎn)單好用的磁盤性能測(cè)試工具

更新記錄

2015年10月20日 - 初稿

閱讀原文 - http://wsgzao.github.io/post/fio/

擴(kuò)展閱讀

fio - http://freecode.com/projects/fio
云主機(jī)磁盤I/O基準(zhǔn)性能測(cè)試 - https://docs.ucloud.cn/testdata/io_uhost.html
fio man - http://linux.die.net/man/1/fio

測(cè)試準(zhǔn)備

工具：fio - Flexible IO Tester

官方網(wǎng)站：

http://freecode.com/projects/fio

http://brick.kernel.dk/snaps/

注意: 性能測(cè)試建議直接通過(guò)寫裸盤的方式進(jìn)行測(cè)試，會(huì)得到較為真實(shí)的數(shù)據(jù)苛聘。但直接測(cè)試裸盤會(huì)破壞文件系統(tǒng)結(jié)構(gòu)，導(dǎo)致數(shù)據(jù)丟失忠聚，請(qǐng)?jiān)跍y(cè)試前確認(rèn)磁盤中數(shù)據(jù)已備份设哗。

CentOS可以直接使用yum安裝

#yum安裝
yum install libaio-devel fio
#手動(dòng)安裝
yum install libaio-devel
wget http://brick.kernel.dk/snaps/fio-2.2.10.tar.gz
tar -zxvf fio-2.2.10.tar.gz
cd fio-2.2.10
make $ make install

fio用法

fio分順序讀，隨機(jī)讀两蟀，順序?qū)懲遥S機(jī)寫，混合隨機(jī)讀寫模式赂毯。

filename: 指定文件(設(shè)備)的名稱战虏。可以通過(guò)冒號(hào)分割同時(shí)指定多個(gè)文件党涕，如filename=/dev/sda:/dev/sdb烦感。

directory: 設(shè)置filename的路徑前綴。在后面的基準(zhǔn)測(cè)試中膛堤，采用這種方式來(lái)指定設(shè)備手趣。

name: 指定job的名字，在命令行中表示新啟動(dòng)一個(gè)job肥荔。

direct: bool類型绿渣，如果設(shè)置成true (1)，表示不使用io buffer次企。

ioengine: I/O引擎怯晕，現(xiàn)在fio支持19種ioengine。默認(rèn)值是sync同步阻塞I/O缸棵，libaio是Linux的native異步I/O舟茶。關(guān)于同步異步，阻塞和非阻塞模型可以參考文章“使用異步 I/O 大大提高應(yīng)用程序的性能”堵第。
http://www.ibm.com/developerworks/cn/linux/l-async/

iodepth: 如果ioengine采用異步方式吧凉，該參數(shù)表示一批提交保持的io單元數(shù)。該參數(shù)可參考文章“Fio壓測(cè)工具和io隊(duì)列深度理解和誤區(qū)”踏志。
http://blog.yufeng.info/archives/2104

rw: I/O模式阀捅，隨機(jī)讀寫，順序讀寫等等针余。

bs: I/O block大小饲鄙，默認(rèn)是4k凄诞。

size: 指定job處理的文件的大小。

numjobs: 指定job的克隆數(shù)(線程)忍级。

time_based: 如果在runtime指定的時(shí)間還沒(méi)到時(shí)文件就被讀寫完成帆谍，將繼續(xù)重復(fù)知道runtime時(shí)間結(jié)束。

runtime: 指定在多少秒后停止進(jìn)程轴咱。如果未指定該參數(shù)汛蝙，fio將執(zhí)行至指定的文件讀寫完全完成。

group_reporting: 當(dāng)同時(shí)指定了numjobs了時(shí)朴肺，輸出結(jié)果按組顯示窖剑。

fio參數(shù)說(shuō)明

filename=/dev/sdb1   #測(cè)試文件名稱，通常選擇需要測(cè)試的盤的data目錄
direct=1             #測(cè)試過(guò)程繞過(guò)機(jī)器自帶的buffer戈稿。使測(cè)試結(jié)果更真實(shí)
rw=randwrite         #測(cè)試隨機(jī)寫的I/O
rw=randrw            #測(cè)試隨機(jī)寫和讀的I/O
bs=16k               #單次io的塊文件大小為16k
bsrange=512-2048     #同上西土，提定數(shù)據(jù)塊的大小范圍
size=5G              #本次的測(cè)試文件大小為5g，以每次4k的io進(jìn)行測(cè)試
numjobs=30           #本次的測(cè)試線程為30個(gè)
runtime=1000         #測(cè)試時(shí)間1000秒器瘪，如果不寫則一直將5g文件分4k每次寫完為止
ioengine=psync       #io引擎使用psync方式
rwmixwrite=30        #在混合讀寫的模式下翠储，寫占30%
group_reporting      #關(guān)于顯示結(jié)果的绘雁，匯總每個(gè)進(jìn)程的信息

lockmem=1G           #只使用1g內(nèi)存進(jìn)行測(cè)試
zero_buffers         #用0初始化系統(tǒng)buffer
nrfiles=8            #每個(gè)進(jìn)程生成文件的數(shù)量

#順序讀
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#順序?qū)?fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#隨機(jī)讀
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#隨機(jī)寫
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#混合隨機(jī)讀寫
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop

#復(fù)制下面的配置內(nèi)容橡疼，將directory=/path/to/test修改為你測(cè)試硬盤掛載目錄的地址，并另存為fio.conf

[global]
ioengine=libaio
direct=1
thread=1
norandommap=1
randrepeat=0
runtime=60
ramp_time=6
size=1g
directory=/path/to/test

[read4k-rand]
stonewall
group_reporting
bs=4k
rw=randread
numjobs=8
iodepth=32

[read64k-seq]
stonewall
group_reporting
bs=64k
rw=read
numjobs=4
iodepth=8

[write4k-rand]
stonewall
group_reporting
bs=4k
rw=randwrite
numjobs=2
iodepth=4

[write64k-seq]
stonewall
group_reporting
bs=64k
rw=write
numjobs=2
iodepth=4

#測(cè)試
fio fio.conf

實(shí)際測(cè)試范例

#測(cè)試混合隨機(jī)讀寫
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest1

mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K/16K-16K, ioengine=psync, iodepth=1

...

mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K/16K-16K, ioengine=psync, iodepth=1

fio-2.1.2

Starting 30 threads

Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [18.8% done] [10192KB/3376KB/0KB /s] [637/211/0 iops] [eta 01m:22sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [19.8% done] [9808KB/3200KB/0KB /s] [613/200/0 iops] [eta 01m:21s]Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [34.7% done] [10496KB/3232KB/0KB /s] [656/202/0 iops] [eta 01m:06sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [35.6% done] [9680KB/3232KB/0KB /s] [605/202/0 iops] [eta 01m:05s]Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [37.6% done] [10016KB/2864KB/0KB /s] [626/179/0 iops] [eta 01m:03sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [38.6% done] [10320KB/3632KB/0KB /s] [645/227/0 iops] [eta 01m:02sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [39.6% done] [9744KB/3264KB/0KB /s] [609/204/0 iops] [eta 01m:01s]Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [63.4% done] [10224KB/3792KB/0KB /s] [639/237/0 iops] [eta 00m:37sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [64.4% done] [9184KB/3808KB/0KB /s] [574/238/0 iops] [eta 00m:36s]Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [68.3% done] [10128KB/3200KB/0KB /s] [633/200/0 iops] [eta 00m:32sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [69.3% done] [9872KB/3184KB/0KB /s] [617/199/0 iops] [eta 00m:31s]Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [71.3% done] [10528KB/2624KB/0KB /s] [658/164/0 iops] [eta 00m:29sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [72.3% done] [9696KB/2752KB/0KB /s] [606/172/0 iops] [eta 00m:28s]Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [73.3% done] [10624KB/2912KB/0KB /s] [664/182/0 iops] [eta 00m:27sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [74.3% done] [9312KB/2832KB/0KB /s] [582/177/0 iops] [eta 00m:26s]Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [95.0% done] [10128KB/3792KB/0KB /s] [633/237/0 iops] [eta 00m:05sJobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [96.0% done] [8320KB/3904KB/0KB /s] [520/244/0 iops] [eta 00m:04s]Jobs: 30 (f=30):

[mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [100.0% done] [9264KB/3536KB/0KB /s] [579/221/0 iops] [eta 00m:00s]

mytest1: (groupid=0, jobs=30): err= 0: pid=17792: Tue Nov 12 10:55:58 2013

  read : io=948896KB, bw=9475.1KB/s, iops=592, runt=100138msec

    clat (usec): min=67, max=796794, avg=49878.72, stdev=59636.00

     lat (usec): min=68, max=796794, avg=49879.01, stdev=59636.00

    clat percentiles (msec):

     | 1.00th=[ 4], 5.00th=[ 7], 10.00th=[ 9], 20.00th=[ 12],

     | 30.00th=[ 16], 40.00th=[ 22], 50.00th=[ 29], 60.00th=[ 39],

     | 70.00th=[ 53], 80.00th=[ 76], 90.00th=[ 120], 95.00th=[ 165],

     | 99.00th=[ 293], 99.50th=[ 351], 99.90th=[ 494], 99.95th=[ 553],

     | 99.99th=[ 701]

    bw (KB /s): min= 20, max= 967, per=3.38%, avg=320.53, stdev=116.83

  write: io=380816KB, bw=3802.1KB/s, iops=237, runt=100138msec

    clat (usec): min=64, max=120607, avg=1801.07, stdev=5409.97

     lat (usec): min=65, max=120610, avg=1803.86, stdev=5409.96

    clat percentiles (usec):

     | 1.00th=[ 69], 5.00th=[ 73], 10.00th=[ 77], 20.00th=[ 81],

     | 30.00th=[ 84], 40.00th=[ 87], 50.00th=[ 90], 60.00th=[ 113],

     | 70.00th=[ 724], 80.00th=[ 3248], 90.00th=[ 4384], 95.00th=[ 5344],

     | 99.00th=[33536], 99.50th=[41728], 99.90th=[59136], 99.95th=[68096],

     | 99.99th=[112128]

    bw (KB /s): min= 17, max= 563, per=3.52%, avg=133.68, stdev=75.04

    lat (usec) : 100=16.41%, 250=3.47%, 500=0.10%, 750=0.12%, 1000=0.23%

    lat (msec) : 2=0.86%, 4=4.57%, 10=13.39%, 20=16.08%, 50=22.27%

    lat (msec) : 100=12.87%, 250=8.49%, 500=1.08%, 750=0.06%, 1000=0.01%

  cpu : usr=0.02%, sys=0.07%, ctx=83130, majf=0, minf=7

  IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%

     submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

     complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

     issued : total=r=59306/w=23801/d=0, short=r=0/w=0/d=0



Run status group 0 (all jobs):

   READ: io=948896KB, aggrb=9475KB/s, minb=9475KB/s, maxb=9475KB/s, mint=100138msec, maxt=100138msec

  WRITE: io=380816KB, aggrb=3802KB/s, minb=3802KB/s, maxb=3802KB/s, mint=100138msec, maxt=100138msec



Disk stats (read/write):

  sda: ios=59211/24192, merge=0/289, ticks=2951434/63353, in_queue=3092383, util=99.97%

測(cè)試結(jié)果如上庐舟，主要關(guān)注bw和iops結(jié)果

bw：磁盤的吞吐量欣除，這個(gè)是順序讀寫考察的重點(diǎn)
iops：磁盤的每秒讀寫次數(shù)，這個(gè)是隨機(jī)讀寫考察的重點(diǎn)

read : io=948896KB, bw=9475.1KB/s, iops=592, runt=100138msec
write: io=380816KB, bw=3802.1KB/s, iops=237, runt=100138msec

硬盤性能指標(biāo)

順序讀寫 （吞吐量挪略，常用單位為MB/s）：文件在硬盤上存儲(chǔ)位置是連續(xù)的历帚。

適用場(chǎng)景：大文件拷貝（比如視頻音樂(lè)）。速度即使很高杠娱，對(duì)數(shù)據(jù)庫(kù)性能也沒(méi)有參考價(jià)值挽牢。

4K隨機(jī)讀寫 （IOPS，常用單位為次）：在硬盤上隨機(jī)位置讀寫數(shù)據(jù)摊求，每次4KB禽拔。

適用場(chǎng)景：操作系統(tǒng)運(yùn)行、軟件運(yùn)行室叉、數(shù)據(jù)庫(kù)睹栖。

以下是使用通用I/O測(cè)試工具“fio”，并在指定數(shù)據(jù)塊大小“4K茧痕、512K”野来、隊(duì)列深度為“128”的條件下，對(duì)“SAS”以及“SSD”這兩種機(jī)型磁盤進(jìn)行的I/O基準(zhǔn)性能測(cè)試所得出的測(cè)試數(shù)據(jù)踪旷。

測(cè)試數(shù)據(jù)

測(cè)試1. 順序讀/寫512K

測(cè)試2. 隨機(jī)讀/寫 4K

配置文件

塊大新铡：4kb / 512kb
隊(duì)列深度：128

#fio.conf配置

[global]
ioengine=libaio
iodepth=128
time_based
direct=1
thread=1
group_reporting
randrepeat=0
norandommap
numjobs=32
timeout=6000
runtime=120

[randread-4k]
rw=randread
bs=4k
filename=/dev/sdb   #注：/dev/sdb是目標(biāo)測(cè)試磁盤的設(shè)備名稱
rwmixread=100
stonewall

[randwrite-4k]
rw=randwrite
bs=4k
filename=/dev/sdb
stonewall

[read-512k]
rw=read
bs=512k
filename=/dev/sdb
stonewall

[write-512k]
rw=write
bs=512k
filename=/dev/sdb
stonewall

#使用方法
shell$> fio fio.conf