Tools:seqkit快速多線程全平臺fastq處理工具

seqkit的使用方法
seqkit github
mp.weixin.qq.com/s/OJsxFR33ej0ACozNbF_dNA
參數(shù)如下:
amplicon 通過引物檢索擴(kuò)增子(或其周圍的特定區(qū)域)
bam 檢查和在線繪制BAM記錄文件的直方圖
common 通過id/名稱/序列查找多個文件的公共序列
concat 連接多個文件中具有相同ID的序列
convert 轉(zhuǎn)換FASTQ質(zhì)量編碼格式:支持格式包括:桑格,Solexa和Illumina
duplicate 重復(fù)序列N次
faidx 創(chuàng)建FASTA索引文件并提取子序列
fish 使用局部比對在較大的序列中尋找短序列
fq2fa 轉(zhuǎn)換FASTQ到FASTA
fx2tab 將FASTA/Q轉(zhuǎn)換為表格格式(包含長度/GC含量/GC偏好)
genautocomplete 生成shell自動完成腳本
grep 通過ID/name/sequence/sequence motif搜索序列瓦呼,允許錯配
head 打印第一條序列
help 打印幫助信息
locate 定位序列晤锥,或者motifs瘩欺,允許錯配
mutate 編輯序列(點突變饱须、插入鄙皇、刪除)
pair 匹配雙端序列文件
range 打印一個范圍內(nèi)的序列
rename 重命名重復(fù)序列ID
replace 使用正則表達(dá)式修改名稱或者序列
restart 重置環(huán)狀基因組的起始位置
rmdup 通過id/名稱/序列刪除重復(fù)的序列
sample 按數(shù)量或比例對序列進(jìn)行抽樣
sana 清理損壞的單行fastq文件
scat real time recursive concatenation and streaming of fastx files
seq 轉(zhuǎn)換序列(反向胚嘲,補(bǔ)充嫌佑,提取ID…)
shuffle 隨機(jī)序列
sliding 序列滑窗提取杆故,支持環(huán)形基因組
sort 按id/名稱/序列/長度排序序列
split 按id/seq區(qū)域/大小/部件將序列拆分為文件(主要用于FASTA)
split2 按序列數(shù)量/文件數(shù)將序列拆分為多個文件(FASTA, PE/SE FASTQ)
stats FASTA/Q文件的簡單統(tǒng)計
subseq 通過region/gtf/bed得到子序列迅箩,包括側(cè)翼序列
tab2fx 轉(zhuǎn)換表格格式為FASTA/Q格式
translate 翻譯DNA/RNA到蛋白質(zhì)序列(支持歧義堿基)
version 打印版本信息并檢查是否更新
watch 序列特征的監(jiān)測和在線直方圖

單獨查看幫助

seqkit rename --help

多行轉(zhuǎn)單行

seqkit seq test.fa -w 0 把多行的轉(zhuǎn)為一行

單行轉(zhuǎn)多行

seqkit seq demo.fa -w 100 把一行的轉(zhuǎn)為多行,每行100個字符

提取序列的名稱

seqkit seq -n test.fa 獲取所有序列的名稱

DNA轉(zhuǎn)蛋白質(zhì)

seqkit translate -T 1 demo.fa -T參數(shù)指定使用的轉(zhuǎn)換模式处铛,1是一般模式饲趋。

提取上游2K的序列

seqkit subseq --up-stream 2000 -f --bed TM-1.bed TM-1.genome.fa
文件TM-1.bed格式是,染色體撤蟆,start,end,geneid使用tab分割奕塑,TM-1.genome.fa是基因組文件

提取只包含ID的序列##

seqkit seq -i 2.fa >3.fa

head 2.fa
>XP_012434104.1 PREDICTED: probable ribonuclease P/MRP protein subunit POP5
MVGFKNSYMVMEVLLDPNKEISGDDPIVVTQFNISKAIKDGILVNFGECGLASSLGSFQV

提取后,header只保留XP_012434104.1

head 3.fa
>XP_012434104.1
MVGFKNSYMVMEVLLDPNKEISGDDPIVVTQFNISKAIKDGILVNFGECGLASSLGSFQV

提取ID和序列(使用正則)在線正則表達(dá)工具https://c.runoob.com/front-end/854

seqkit seq -i --id-regexp "([A-Za-z0-9.]{1,30})" -w 0 CAZyDB.07312020.fa >CAZyDB.07312020.fasta
主要是使用--id-regexp這個參數(shù)家肯,匹配的時候不需要匹配^>龄砰,程序會自動匹配ID所在的行,中間的正則讨衣,必須用雙引號包括一對小括號换棚。小括號內(nèi)是匹配要保留ID的字符

head CAZyDB.07312020.fa
>CBL17682.1|CBM22|CBM6|GH10|GH43_16|3.2.1.55|3.2.1.8
MQLRITSRKKLTALLCALGLISIVAIYPRQTVNFFYSTAVQITDYIHFYGYRPVKSFAIRIPASYTIHGLDVSRWQERIDWQRVAKMRDNDIRLQFAFIKATEGEKLVDPYFSRNWQLSRENGLLRGAYHYFSPSVSASVQARLFLQTVDFSQGDFPAVLDVEERGKLSAKELRKRVSQWLKMVEKRTGKKPIIYSGAVFYHTNLAGYFNEYPWWVAHYYQRRPDNDGMAWRFWQHSDRGQVDGINGPVDFNVFNGTGMSCRHSLMGLKKRLK
head CAZyDB.07312020.fasta
>CBL17682.1
MQLRITSRKKLTALLCALGLISIVAIYPRQTVNFFYSTAVQITDYIHFYGYRPVKSFAIRIPASYTIHGLDVSRWQERIDWQRVAKMRDNDIRLQFAFIKATEGEKLVDPYFSRNWQLSRENGLLRGAYHYFSPSVSASVQARLFLQTVDFSQGDFPAVLDVEERGKLSAKELRKRVSQWLKMVEKRTGKKPIIYSGAVFYHTNLAGYFNEYPWWVAHYYQRRPDNDGMAWRFWQHSDRGQVDGINGPVDFNVFNGTGMSCRHSLMGLKKRLK

序列ID替換也可以使用在線工具https://birc.au.dk/~palle/php/fabox/header_replacer.php#

提取序列的指定字符為序列id

序列原有id格式如下:

cat promoter.2000.fa
>A07_5857965-5861421:._usf:2000 Gh_A07G050500.1
TGATGGAGGTTGAGATGGCCTCAGAACGGTATAAGTCGGGTCAATTCGATTTTTACGATT
TCGGTGTCATTTCAAATTTGAATAATTCGAGTTTTTATTATTTAGGGTTTGAGTCATTTT
AGGTTGAAAGCATTTGGGTTAGCCAGTGGGGTTTTTGAGTTTAAGTAAATTTGGATAATG

目標(biāo)是提取空格后的字符為序列id

seqkit seq -i --id-regexp "\s([\D\d]*)" promoter.2000.fa

\s是匹配前面的空格,()里面是要匹配的字符反镇,此處的[\D\d]*是所有字符
輸出的序列id格式即為

>Gh_A07G050500.1
TGATGGAGGTTGAGATGGCCTCAGAACGGTATAAGTCGGGTCAATTCGATTTTTACGATT
TCGGTGTCATTTCAAATTTGAATAATTCGAGTTTTTATTATTTAGGGTTTGAGTCATTTT
AGGTTGAAAGCATTTGGGTTAGCCAGTGGGGTTTTTGAGTTTAAGTAAATTTGGATAATG

如果原有id為圃泡,>A07_5857965-5861421:._usf:2000 Gh_A07G050500.1 XDeffeffg,這時仍想或許上述相同的id,就需要運行命令為seqkit seq -i --id-regexp "\s([\D\d]*)\s"

窄數(shù)字變?yōu)閷挃?shù)字

排序染色體

seqkit sort -N Genome.fa -o test.fa

seqkit替換id為指定字符串(直接按照序列順序,把序列id替換為Chr01,Chr02)

seqkit replace --ignore-case --pattern .+ -r "Chr{nr}" --nr-width 2 test.fa -o genome.new.fa

seqkit 替換序列頭部使用指定的文件

seqkit replace --ignore-case --kv-file rename.txt --pattern "^(\w+)" --replacement "{kv}" genome.fa -o genome.new.fa

rename.txt格式如下:兩列之間是tab分隔符愿险,第一列是舊的ID,第2列是新的ID

Chr1    Chr01
Chr2    Chr02
Chr3    Chr03
Chr4    Chr04
Chr5    Chr05
Chr6    Chr06
Chr7    Chr07

genome.fa的頭部格式是只有ID

>Chr1
ACCAGATTC

按照文件順序排序fa文件

seqkit faidx genome.fa --infile-list genome.order -o genome.order.fa genome.order是一列文件,是你要排序序列ID的順序辆亏,輸出的genome.order.fa是排序后的順序

DNA轉(zhuǎn)RNA

seqkit seq --dna2rna Chr_genome_final.fa

RNA轉(zhuǎn)DNA

seqkit seq --rna2dna Chr_final.fa

大寫轉(zhuǎn)小寫

seqkit seq --lower-case test.fa

小寫轉(zhuǎn)大寫

seqkit seq --upper-case test.fa

互補(bǔ)序列(-t 參數(shù)指定序列類型风秤,不指定也會自動識別,不過會有warning扮叨,要求指定類型)

seqkit seq -t DNA --complement test.fa
seqkit seq -t RNA --complement test.RNA.fa

反向序列

seqkit seq --reverse test.cds.fa 反向序列
seqkit seq -t DNA --complement --reverse test.cds.fa 反向互補(bǔ)序列

序列提取(-n指定提取數(shù)量缤弦,-s指定隨機(jī)數(shù),-p指定抽取比例彻磁,-o輸出)

seqkit sample -n 10000 -s 10 test_1.fq -o sample.fq 隨機(jī)提取10000條序列
seqkit sample -p 0.1 -s 10 test_1.fq -o sample.fq隨機(jī)提取總序列的10%的序列

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末碍沐,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子衷蜓,更是在濱河造成了極大的恐慌累提,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,589評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件磁浇,死亡現(xiàn)場離奇詭異斋陪,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)置吓,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評論 3 396
  • 文/潘曉璐 我一進(jìn)店門无虚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人衍锚,你說我怎么就攤上這事友题。” “怎么了戴质?”我有些...
    開封第一講書人閱讀 165,933評論 0 356
  • 文/不壞的土叔 我叫張陵度宦,是天一觀的道長。 經(jīng)常有香客問我置森,道長斗埂,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,976評論 1 295
  • 正文 為了忘掉前任凫海,我火速辦了婚禮呛凶,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘行贪。我一直安慰自己漾稀,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,999評論 6 393
  • 文/花漫 我一把揭開白布建瘫。 她就那樣靜靜地躺著崭捍,像睡著了一般。 火紅的嫁衣襯著肌膚如雪啰脚。 梳的紋絲不亂的頭發(fā)上殷蛇,一...
    開封第一講書人閱讀 51,775評論 1 307
  • 那天实夹,我揣著相機(jī)與錄音,去河邊找鬼粒梦。 笑死亮航,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的匀们。 我是一名探鬼主播缴淋,決...
    沈念sama閱讀 40,474評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼泄朴!你這毒婦竟也來了重抖?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,359評論 0 276
  • 序言:老撾萬榮一對情侶失蹤祖灰,失蹤者是張志新(化名)和其女友劉穎钟沛,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,854評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,007評論 3 338
  • 正文 我和宋清朗相戀三年握侧,在試婚紗的時候發(fā)現(xiàn)自己被綠了蓬豁。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,146評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情由捎,我是刑警寧澤,帶...
    沈念sama閱讀 35,826評論 5 346
  • 正文 年R本政府宣布饿凛,位于F島的核電站狞玛,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏涧窒。R本人自食惡果不足惜心肪,卻給世界環(huán)境...
    茶點故事閱讀 41,484評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望纠吴。 院中可真熱鬧硬鞍,春花似錦、人聲如沸戴已。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽糖儡。三九已至伐坏,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間握联,已是汗流浹背桦沉。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評論 1 272
  • 我被黑心中介騙來泰國打工每瞒, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人永部。 一個月前我還...
    沈念sama閱讀 48,420評論 3 373
  • 正文 我出身青樓独泞,卻偏偏與公主長得像,于是被迫代替她去往敵國和親苔埋。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,107評論 2 356

推薦閱讀更多精彩內(nèi)容