How to Monitor Progress of (Copy/Backup/Compress) Data using 'pv' Command
在處理Linux系統(tǒng)上的大文件時, 特別是拷貝/備份/壓縮這些操作, 可能想要了解這些大文件的處理進度, 然而在管道中工作的終端工具可能并沒有提供查看進度信息的功能, 此時就需要稱為'pv'或者Pipe Viewer的工具監(jiān)控通過管道的數(shù)據(jù)的進度信息, 已消耗的時間, 進度條顯示的完成百分比, 當前管道的吞吐量, 已傳輸?shù)臄?shù)據(jù)量, 預計完成的時間等.
引申閱讀: 利用nc命令快速完成目錄數(shù)據(jù)傳輸
引申閱讀: 利用tar命令進行壓縮
1. 描述
來源: CentOS Linux release 7.2.1511 (Core) User Manuals PV(1)
語法：
pv [OPTION] [FILE]
pv [-h|-V]
Pipe Viewer用于監(jiān)視通過管道的數(shù)據(jù)進度信息. pv使用戶能夠看到數(shù)據(jù)通過管道的進度, 并提供例如耗時,完成比例,吞吐量,傳輸量和ETA等這些信息. 為了實現(xiàn)上述功能需要將該命令插入到兩個進程之間的管道中, 并佐以合適的選項. 它的標準輸入經(jīng)由它到達其標準輸出, 同時進度信息會顯示在標準錯誤上. pv依次拷貝FILE中的數(shù)據(jù)到其標準輸出( - 表示標準輸入), 如果FILE未提供僅僅拷貝標準輸入. 該命令行的行為與cat類似.
- 注意:如果輸入數(shù)據(jù)量無法計算, 并且輸出是一個塊設備, 那么塊設備的大小會用來作為輸出總量, 即使指定了-S --stop-at-size選項, pv也會停在該位置.
2. 示例
不帶任何選項時, 默認自帶-p --progress(帶進度條的完成比例), -t --timer(已消耗時間), -e --eta(預估剩余時間), -r --rate(已傳輸總量), -b --bytes(數(shù)據(jù)量總量)
2.1 監(jiān)視打開/拷貝文件進度
利用pv打開一個文件, 標準輸出可以重定向到一個新文件或者/dev/null. -L 選項表示限速, 控制通過pv的數(shù)據(jù)流速, 便于查看進度信息. 默認顯示進度信息包括: 傳輸?shù)臄?shù)據(jù)量, 已消耗時間, 數(shù)據(jù)傳輸速率, 進度條和完成比率, 預估剩余時間.
[root]pv -L 10k cups-2.1.4-source.tar.gz 1>/dev/null
30kiB 0:00:03 [10.1kiB/s] [===============> ] 44% ETA 0:00:03
[root]pv -L 10k cups-2.1.4-source.tar.gz 1>cups-2.1.4-source.tar.gz.bak
30kiB 0:00:03 [10.1kiB/s] [===============> ] 44% ETA 0:00:03
2.2 監(jiān)視壓縮文件進度
利用pv打開一個數(shù)據(jù)通道, 并將pv的標準輸出作為zip的標準輸入.
'-' 表示zip命令壓縮當前標準輸入的數(shù)據(jù).
為了清除zip程序的標準錯誤輸出, 將其中定向到Null設備, 此時輸出信息就只剩下pv的標準錯誤輸出信息.
[root]pv -L 10k cups-2.1.4-source.tar.gz | zip 1>/dev/null
adding: - 10kiB 0:00:01 [9.23kiB/s] [====> ] 14%
67.6kiB 0:00:06 [9.98kiB/s] [====================================>] 100%
(deflated 0%)
[root]pv -L 10k cups-2.1.4-source.tar.gz | (zip 1>cups.zip 2>/dev/null)
30kiB 0:00:03 [10.1kiB/s] [===============> ] 44% ETA 0:00:03
[root]pv -L 10k cups-2.1.4-source.tar.gz | (zip 1>/dev/null 2>/dev/null)
67.6kiB 0:00:06 [9.98kiB/s] [====================================>] 100%
gzip直接壓縮文件和通過pv顯示進度信息的執(zhí)行過程比較
[root]gzip -c pvtest.dat > pvtest.dat.gz
[root]du -sb pvtest.dat.gz
5781 pvtest.dat.gz
[root]pv -L 10k pvtest.dat | gzip > pvtest.dat.gz
14.8kiB 0:00:01 [10.3kiB/s] [===============================>] 100%
[root]du -sb pvtest.dat.gz
5770 pvtest.dat.gz
2.3 監(jiān)視數(shù)據(jù)內容搜索進度
利用wc命令計算文件的行數(shù)/詞數(shù)/字節(jié)數(shù), wc沒有進度信息的功能, 通過pv來監(jiān)視數(shù)據(jù)傳輸量就可以很容易得到當前文件的完成比例.
[root]pv -L 5k pvtest.dat | wc
14.8kiB 0:00:02 [4.97kiB/s] [====================================>] 100%
381 2095 15169
利用grep命令搜索文件內容, -n命令以整數(shù)顯示數(shù)據(jù)量的完成比例, -i設置進度更新間隔時間(可以是小數(shù)), 可以很容易看出完成的比例.
[root]pv -n -i 0.5 -L 5k pvtest.dat | grep seconds
16
use, then each output line is prefixed with the elapsed time so far, as a decimal number of seconds.
33
Wait SEC seconds between updates. The default is to update every second. Note that this can be a decimal such as 0.1.
50
67
84
100
利用grep命令搜索文件內容, -N 標記經(jīng)由pv的管道流名稱.
[root]pv -N GrepRate -i 0.1 -L 5k pvtest.dat | grep seconds
use, then each output line is prefixed with the elapsed time so far, as a decimal number of seconds.
Wait SEC seconds between updates. The default is to update every second. Note that this can be a decimal such as 0.1.
GrepRate: 11.5kiB 0:00:02 [5.53kiB/s] [===================> ] 77% ETA 0:00:00
2.4 監(jiān)視tar的備份進度
tar命令中的第一個'-'寫備份文件到標準輸出, 備份文件通過管道作為pv的標準輸入, 經(jīng)由pv后作為標準輸出寫入文件down.tgz.
pv顯示選項中的部分長短選項-t --timer, -r --rate, -b --bytes.
由于數(shù)據(jù)總量無法后去, 完成比例的進度條顯示就無法明確顯示, 同時-e --eta亦-p --propress也是無法顯示.
[root]tar -czf - ./down/ | (pv -L 10k -p --timer --rate --bytes > down.tgz)
68.1kiB 0:00:06 [9.91kiB/s] [ <=> ]
對tar文件不啟用壓縮, 而是通過后續(xù)的gzip命令來壓縮數(shù)據(jù), 為了獲取總數(shù)據(jù)量, -s 參數(shù)配合du命令.
從最后的結果來看, 最后的結果顯示略有差別, gzip壓縮后的文件比原始文件稍大. 造成這種差別gzip再次壓縮gz文件時文件頭造成的.
經(jīng)過測試發(fā)現(xiàn)在文件較大時, 其結果更令人滿意. 文件較小時測試結果很令人費解, 顯示相差巨大.
[root]tar -cf - cups-2.1.4-source.tar.gz | pv -L 10k -s $(du -sb cups-2.1.4-source.tar.gz | awk '{print $1}') | gzip > ../out.tgz
70kiB 0:00:06 [10.1kiB/s] [=====================================] 103%
[root]tar -cf - audit.gz | pv -L 1m -s $(du -sb audit.gz | awk '{print $1}') | gzip > out.tgz
1.55MiB 0:00:01 [1.03MiB/s] [====================================>] 100%
[root]tar -cf - backup.tgz | pv -L 10k -s $(du -sb backup.tgz | awk '{print $1}') | gzip > out.tgz
10kiB 0:00:00 [11.1kiB/s] [====================================>] 22755%
[root]tar -cf - audit.zip | pv -L 1m -s $(du -sb audit.zip | awk '{print $1}') | gzip > out.tgz
1.25MiB 0:00:01 [1.02MiB/s] [====================================>] 100%
2.5 配置dialog顯示進度條
通過-s參數(shù)指定數(shù)據(jù)總量, 進度條的顯示應該就會先正確. dialog只接受標準輸入的數(shù)字, 所以pv要使用-n參數(shù)輸出數(shù)字比例, 同時pv的標準錯誤要重定向到標準輸出中, dialog才能從標準輸入接收到數(shù)據(jù). gauge是進度條類型, 后續(xù)參數(shù)是描述信息, 進度條高度終端比率和長度終端比例.
tar -czf - ./down/ | (pv -L 10k -s 69705 -n > down.tgz) 2>&1 | dialog --gauge "Progress" 10 70
2.6 顯示多個pv進度條
將gzip的源文件和目標文件都通過pv, 顯示源讀取和gzip輸出目標的進度信息.
多個進度條時-c 參數(shù)必不可少, 防止進度條在更新時交叉覆蓋, 雖然最后的效果和輸出相同但是中間過程可能看不清楚.
GzipDest管道數(shù)據(jù)流由于無法獲取數(shù)據(jù)總量, 所以進度的顯示會出現(xiàn)偏差, 還有部分顯示內容無法計算.
在壓縮過程中可以通過對rate進行計算, 就可以了解到大概的壓縮比例 9.95/1.94.
-c 使用游標定位轉義序列替換僅僅只使用回車, 與-N 聯(lián)合使用時, 對處于單一長數(shù)據(jù)管道的多個pv很有效.
[root]pv -L 10k -cN GzipSour pv.man pvtest.dat | gzip | pv -cN GzipDest > pv.pvtest.gz
GzipDest: 0 B 0:00:02 [ 0 B/s] [<=> ]
GzipSour: 20kiB 0:00:02 [10.1kiB/s] [=================> ] 67% ETA 0:00:00
[root]pv -L 10k -cN GzipSour pv.man pvtest.dat | gzip | pv -cN GzipDest > pv.pvtest.gz
GzipDest: 5.79kiB 0:00:02 [1.94kiB/s] [<=> ]
GzipSour: 29.6kiB 0:00:02 [9.95kiB/s] [=========================>] 100%
[root]pv -L 10k -N GzipSour pv.man pvtest.dat | gzip | pv -N GzipDest > pv.pvtest.gz
GzipSour: 20kiB 0:00:02 [10.1kiB/s] [===================> ] 67% ETA 0:00:00
2.7 大量數(shù)據(jù)網(wǎng)絡傳輸
假設有機器A, 地址128.160.171.181; 機器B, 地址128.160.64.115
首先要在機器B上面制造數(shù)據(jù), 數(shù)據(jù)都處于同一個目錄內, 利用tar和pv拷貝/usr/lib中的所有文件到upload目錄, 可以通過這種方式看到進度信息.
[root]cd /tmp
[root]mkdir upload
[root]cd upload
[root]tar -C /usr/lib -cf - . | pv | tar -xf -
299MB 0:00:01 [ 266MB/s] [ <=> ]
在機器B上面發(fā)布nc命令并啟動偵聽端口6666, 然后會發(fā)現(xiàn)nc開始掛起, 等待連接.
在機器A開始發(fā)布命令時, 機器B也可以顯示進度條, 顯示數(shù)據(jù)的傳輸.
如果在機器A上面要看到進度條的完成比例, 可以使用du -sb upload計算數(shù)據(jù)總量.
[root]tar -cf - upload | pv | nc -l -p 6666
1.27GB 0:00:11 [ 110MB/s] [ <=> ]
[root]tar -cf - upload | pv -s $(du -sb upload | awk '{print $1}') | nc -l -p 6666
1.27GiB 0:00:25 [51.3MiB/s] [====================================>] 101%
在機器A上面通過nc命令訪問機器B和指定端口并通過tar解壓縮文件, 可以看到此時數(shù)據(jù)開始傳輸并顯示進度條.
[root]nc 128.160.171.181 6666 | pv | tar -xf -
1.27GB 0:00:11 [ 110MB/s] [ <=> ]
2.8 讀寫鏡像文件
系統(tǒng)讀/dev/zero設備, 并輸出到標準輸出的速率
系統(tǒng)讀/dev/zero設備, 并輸出到Null設備的速率
[root] pv /dev/zero
169MiB 0:00:06 [28.5MiB/s] [ <=> ]
[root]pv /dev/zero > /dev/null
15GiB 0:00:08 [6.58GiB/s] [ <=> ]
制作一個磁盤的鏡像, -E 忽略讀錯誤, -EE 忽略并報告讀錯誤
從磁盤鏡像中恢復
清空磁盤
注意:如果輸入數(shù)據(jù)量無法計算, 并且輸出是一個塊設備, 那么塊設備的大小會用來作為輸出總量, 即使指定了-S --stop-at-size選項, pv也會停在該位置.
pv -EE /dev/sda > disk-image.img
pv disk-image.img > /dev/sda
pv < /dev/zero > /dev/sda
