生信人的linux考試(20題)
1.在任意文件夾下面創(chuàng)建形如 1/2/3/4/5/6/7/8/9 格式的文件夾系列
mkdir 生信人的linux考試
ls
cd 生信人的linux考試/
mkdir -p 1/2/3/4/5/6/7/8/9
tree
.
└── 1
└── 2
└── 3
└── 4
└── 5
└── 6
└── 7
└── 8
└── 9
9 directories, 0 files
2.在創(chuàng)建好的文件夾下面,比如我的是 /Users/jimmy/tmp/1/2/3/4/5/6/7/8/9 ,里面創(chuàng)建文本文件 me.txt
$ cd 1/2/3/4/5/6/7/8/9
$ touch me.txt
$ tree
.
└── me.txt
0 directories, 1 file
3.在文本文件 me.txt 里面輸入內(nèi)容
nano me.txt#在里面編寫文字,ctrl+x y 保存修改
4.刪除上面創(chuàng)建的文件夾 1/2/3/4/5/6/7/8/9 及文本文件 me.txt
rm -r 1
5.在任意文件夾下面創(chuàng)建 folder1~5這5個文件夾,然后每個文件夾下面繼續(xù)創(chuàng)建 folder1~5這5個文件夾
mkdir -p folder{1..5}/folder{1..5}
tree
.
├── folder1
│ ├── folder1
│ ├── folder2
│ ├── folder3
│ ├── folder4
│ └── folder5
├── folder2
│ ├── folder1
│ ├── folder2
│ ├── folder3
│ ├── folder4
│ └── folder5
├── folder3
│ ├── folder1
│ ├── folder2
│ ├── folder3
│ ├── folder4
│ └── folder5
├── folder4
│ ├── folder1
│ ├── folder2
│ ├── folder3
│ ├── folder4
│ └── folder5
└── folder5
├── folder1
├── folder2
├── folder3
├── folder4
└── folder5
30 directories, 0 files
6.在第五題創(chuàng)建的每一個文件夾下面都 創(chuàng)建第二題文本文件 me.txt ,內(nèi)容也要一樣
這個題不會蜀变,沟堡,侧但,,航罗,
搜索到了小潔老師的答案:http://www.reibang.com/p/034c6cb1cf3d
for dirs in folder{1..5}/folder{1..5}; do cp me.txt $dirs; done
echo folder{1..5}/folder{1..5} | xargs -n 1 cp -v me.txt
# -n 1指定每行輸出1列
7.再次刪除掉前面幾個步驟建立的文件夾及文件
rm -r folder*
8.下載 http://www.biotrainee.com/jmzeng/igv/test.bed 文件禀横,后在里面選擇含有 H3K4me3 的那一行是第幾行,該文件總共有幾行
wget http://www.biotrainee.com/jmzeng/igv/test.bed
wc -l test.bed # 共10行
cat test.bed | grep -n "H3K4me3"# 第八行
9.下載 http://www.biotrainee.com/jmzeng/rmDuplicate.zip 文件粥血,并且解壓柏锄,查看里面的文件夾結(jié)構(gòu)
wget http://www.biotrainee.com/jmzeng/rmDuplicate.zip
unzip rmDuplicate.zip
tree
10.打開第九題解壓的文件,進(jìn)入 rmDuplicate/samtools/single 文件夾里面复亏,查看后綴為 .sam 的文件趾娃,搞清楚 生物信息學(xué)里面的SAM/BAM 定義是什么
- 兩種文件是由bwa,bowtie,tophat等序列比對工具比對產(chǎn)生的文件
- bam是sam的二進(jìn)制格式,sam文件每列代表內(nèi)容詳細(xì)解釋:https://blog.csdn.net/sunchengquan/article/details/85095355
- sam文件含有注釋及結(jié)果
注釋信息(header section):- @HD缔御,說明符合標(biāo)準(zhǔn)的版本抬闷,對比序列的排列順序
- @SQ,參考序列說明耕突,
- @RG笤成,比對上序列(read)的說明
- @PG,使用的程序說明眷茁,
- @CO炕泳,任意的說明信息
比對結(jié)果部分(alignment section) - QNAME 序列的名字
- FLAG各個數(shù)字分別代表
1 read有多種測序數(shù)據(jù),一般理解為有雙端測序數(shù)據(jù) read paired
2 比對結(jié)果是一個pair-end比對上祈,一正一負(fù)完美的比對上培遵,read mapped in proper pair
4 這條read沒有比對上,read unmapped
8 這個序列是pair中的一個但是沒有比對上 mate unmapped
16 序列與參考序列反向互補(bǔ) read reverse strand
32 這個序列在pair-end中的的mate序列與參考序列反響互補(bǔ) mate reverse strand
64 序列是 mate 1 first in pair
128 序列是 mate 2 second in pair
256 第二次比對 not primary alignment - RNAME 參考序列的名字(染色體)
- POS 在參考序列上的位置(染色體上的位置)
- MAPQ mapping qulity
- CIGAR,代表比對結(jié)果的CIGAR字符串登刺,如37M1D2M1I籽腕,這段字符的意思是37個匹配,1個參考序列上的刪除塘砸,2個匹配,1個參考序列上的插入晤锥。M代表的是alignment match(可以是錯配)
- RNEXT mate序列所在的參考序列的名稱掉蔬,下一個片段比對上的參考序列的編號,沒有另外的片段‘*’矾瘾,同一個片段用‘=’
- PNEXT mate序列在參考序列上的位置女轿,下一個片段比對上的位置,如果不可用壕翩,則為0
- TLEN 估計(jì)出的插入片段的長度蛉迹,當(dāng)mate序列位于本序列上游時,該值為負(fù)值放妈,template的長度北救,最左邊得為正荐操,最右邊的為負(fù),中間的不用定義正負(fù)珍策,不可用時為0
- SEQ read的序列托启,序列信息,注意CIGAR中M/I/S/=/X對應(yīng)數(shù)字的和要等于序列長度攘宙;
- QUAL ASCII碼格式的序列質(zhì)量;序列的質(zhì)量信息屯耸,格式同F(xiàn)ASTQ一樣
- NM: i 經(jīng)過編輯的序列
- MD:Z代表序列和參考序列錯配的字符串
- AS : i 匹配的得分
less -S tmp.sam
11.安裝 samtools 軟件(已安裝)
- samtools是一個用于操作sam和bam文件的工具軟件,能夠?qū)Ρ葘ξ募M(jìn)行二進(jìn)制查看蹭劈、格式轉(zhuǎn)換疗绣、排序及合并等,結(jié)合sam格式中的flag铺韧、tag等信息多矮,還可以完成比對結(jié)果的統(tǒng)計(jì)匯總,是處理sam(sequence alignment/map format)和bam文件不可或缺的神器祟蚀!
- http://www.omicsclass.com/article/529
12.打開 后綴為BAM 的文件工窍,找到產(chǎn)生該文件的命令
samtools view tmp.rmdup.bam | less -SN #其中N使較為整齊的打印至屏幕上,S 編號
打開了兩個文件前酿,還是沒能找到產(chǎn)生該文件的命令
13.根據(jù)上面的命令患雏,找到我使用的參考基因組 /home/jianmingzeng/reference/index/bowtie/hg38 具體有多少條染色體
- Q1:在同一個服務(wù)器下,如何查看別人文件
- Q2:找到文件后罢维,如何查看染色體條數(shù)
14.上面的后綴為BAM 的文件的第二列淹仑,只有 0 和 16 兩個數(shù)字,用 cut/sort/uniq等命令統(tǒng)計(jì)它們的個數(shù)
samtools view tmp.sorted.bam | cut -f2 |sort| uniq -c
15. 重新打開 rmDuplicate/samtools/paired 文件夾下面的后綴為BAM 的文件肺孵,再次查看第二列匀借,并且統(tǒng)計(jì)
samtools view tmp.rmdup.bam | cut -f2 |sort| uniq -c
16.下載 http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip 文件,并且解壓平窘,查看里面的文件夾結(jié)構(gòu)吓肋, 這個文件有2.3M,注意留心下載時間及下載速度
wget http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip #2.3M文件下載了約不到1min
unzip sickle-results.zip
tree
.
├── command.txt
├── single_tmp_fastqc.html
├── single_tmp_fastqc.zip
├── test1_fastqc.html
├── test1_fastqc.zip
├── test2_fastqc.html
├── test2_fastqc.zip
├── trimmed_output_file1_fastqc.html
├── trimmed_output_file1_fastqc.zip
├── trimmed_output_file2_fastqc.html
└── trimmed_output_file2_fastqc.zip
17.解壓 sickle-results/single_tmp_fastqc.zip 文件瑰艘,并且進(jìn)入解壓后的文件夾是鬼,找到 fastqc_data.txt 文件,并且搜索該文本文件以 >>開頭的有多少行紫新?
unzip single_tmp_fastqc.zip
cd single_tmp_fastqc/
less -SN fastqc_data.txt | grep "^>>" | wc -l
18.下載 http://www.biotrainee.com/jmzeng/tmp/hg38.tss
文件均蜜,去NCBI找到TP53/BRCA1
等自己感興趣的基因?qū)?yīng)的 refseq數(shù)據(jù)庫
ID,然后找到它們的hg38.tss
文件的哪一行芒率。
refseq相關(guān)解釋:https://liucheng.name/381/
https://www.ncbi.nlm.nih.gov/gene/7157
wget http://www.biotrainee.com/jmzeng/tmp/hg38.tss
less -SN hg38.tss #`refseq數(shù)據(jù)庫` ID
less -SN hg38.tss | grep -n "NR_103753"
19.解析hg38.tss 文件囤耳,統(tǒng)計(jì)每條染色體的基因個數(shù)
less -SN hg38.tss | cut -f2 | sort |uniq -c
20.解析hg38.tss 文件,統(tǒng)計(jì)NM和NR開頭的熟練,了解NM和NR開頭的含義
less -SN hg38.tss | grep -n "^NR" |wc -l
less -SN hg38.tss | grep -n "^NM" |wc -l
- NR開頭表示 非編碼的轉(zhuǎn)錄子序列充择,包括RNAs,假基因轉(zhuǎn)子等
- NM開頭 表示轉(zhuǎn)錄產(chǎn)物序列德玫,成熟的mRNA序列
參考:
http://www.reibang.com/p/9da34a989957
http://www.omicsclass.com/article/529 #samtools安裝
http://www.reibang.com/p/2cdb83174a38
http://bioinformation.cn/?p=155
refseq解釋