需求:
一個(gè)特別大的文件進(jìn)行g(shù)roup狈孔,且group多次猩系,比較浪費(fèi)時(shí)間,所以 將這個(gè)大文件切割為多個(gè)小文件杈帐,可以同時(shí)group(需要多核CPU同時(shí)工作)
定義:
大文件 :text.txt
命令: split (一般系統(tǒng)都有)
注意:
此命令是按行切割,即需要提前定義需要將多少行分為一個(gè)文件
做法:
首先wc -l 查看這個(gè)大文件有多少行 比如有 一萬行
那么我現(xiàn)在把他分為10個(gè)文件來說
一個(gè)文件就是一千行
那么命令就是: (源文件依然存在且不少數(shù)據(jù))
split -l 1000 text.txt -d -a 4 ceshi_
命令詳解:
-l 指定一個(gè)文件有多少行 (1000行)
text.txt 被分割的原文件名
-d 生成的文件以數(shù)字命名 (默認(rèn)為英文剩愧,按照英文字母排序冬筒,不直觀)
-a 生成的新文件名除了自定的前綴以外,生成 幾位(4位)
ceshi_ 這個(gè)自定義生成文件的前綴
實(shí)際舉例:
[root@xor-vhreport android]# wc -l 1.txt
40 1.txt
文件有40行
split -l 10 1.txt -d -a 4 text_
將這個(gè)文件10行分割為一個(gè)文件
以4位數(shù)字結(jié)尾
前綴位text_
[root@xor-vhreport android]# ls
1.txt text_0000 text_0001 text_0002 text_0003
執(zhí)行完畢之后就可以看到髓考,被分為了四個(gè) 文件
源文件沒有被任何破壞和少數(shù)據(jù)