3.1 biostar lesson3 linux學(xué)習(xí)日記;java版本;awk

又學(xué)一招,來自組織的微信群
如果.bashrc 無法保存煤痕,解決方案
刪掉.swp
刪掉.bashrc.bak
就OK

conda

查看當(dāng)前環(huán)境下,都安裝了哪些軟件

conda list

發(fā)現(xiàn)有一篇很好的介紹文章
還有一篇

進(jìn)入正題,AWK

前一段時(shí)間摆碉,看到好多生信組的童鞋不遠(yuǎn)千里的坐小火車去學(xué)習(xí)awk塘匣,覺得不是很理解。直到最近自己要準(zhǔn)備各種文件巷帝,才覺得此乃神器忌卤,必須掌握

簡(jiǎn)書已有牛人的寫作
生信AWK
AWK的技術(shù)資料

酷殼牛人教程
AWK
sed
shell
linux

awk文本操作

以下摘抄自別人

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
[-F|-f|-v] 大參數(shù),-F指定分隔符楞泼,-f調(diào)用腳本驰徊,-v定義變量 var=value
' ' 引用代碼塊
BEGIN 初始化代碼塊,在對(duì)每一行進(jìn)行處理之前堕阔,初始化代碼棍厂,主要是引用全局變量,設(shè)置FS分隔符
// 匹配代碼塊超陆,可以是字符串或正則表達(dá)式
{} 命令代碼塊牺弹,包含一條或多條命令
; 多條命令使用分號(hào)分隔
END 結(jié)尾代碼塊时呀,在對(duì)每一行進(jìn)行處理之后再執(zhí)行的代碼塊例驹,主要是進(jìn)行最終計(jì)算或輸出結(jié)尾摘要信息
-F 指定分隔符
$0 表示整個(gè)當(dāng)前行
$1 每行第一個(gè)字段
NF 字段數(shù)量變量
NR 每行的記錄號(hào),多文件記錄遞增
我們這里主要對(duì)-F的例子進(jìn)行記錄退唠。
$1 指指定分隔符后,第一個(gè)字段荤胁,$3第三個(gè)字段瞧预, \t是制表符
一個(gè)或多個(gè)連續(xù)的空格或制表符看做一個(gè)定界符,即多個(gè)空格看做一個(gè)空格
awk -F";" '{print $1}' file 以分號(hào)分隔仅政,選擇第一列:
awk -F";" '{print $1 $3}' file //$1與$3相連輸出垢油,不分隔
awk -F";" '{print $1,$3}' file //多了一個(gè)逗號(hào),$1與$3使用空格分隔
awk -F";" '{print $1 " " $3}' file //$1與$3之間手動(dòng)添加空格分隔
awk -F";" '{print "this is gene name :" "***" $3 }' file //自定義輸出
awk -F ";" '{print NF}' file //顯示每行有多少字段
awk -F; 'NF==4 {print }' file //顯示只有4個(gè)字段的行
awk -F";" 'NF>2{print $0}' file //顯示每行字段數(shù)量大于2的行
awk '{print NR,$0}' /etc/passwd //輸出每行的行號(hào)
awk -F: '{print NR,NF,$NF,"\t",$0}' file //依次打印行號(hào)圆丹,字段數(shù)滩愁,最后字段值,制表符辫封,每行內(nèi)容
awk -F: 'NR==5{print}' file //顯示第5行
awk -F: 'NR==5 || NR==6{print}' file //顯示第5行和第6行
---------分隔符----------
OK 回到我們最初的問題:提取uniq的gene_name
cat file | awk -F “;” ‘{print $3}’ | awk -F " " '{print $2}' | sort |uniq |wc -l

個(gè)人趕腳比較有用的命令less

用less命令
搜索/
下一個(gè)hit n
前一個(gè)hit N

JAVA安裝

因?yàn)閖ava9和igv不兼容硝枉,所以需要安裝java8,不知道為啥java7安裝不了倦微,說是不存在

brew cask install caskroom/versions/java8

然后在~/.bashrc 里面添加

export JAVA_8_HOME=`/usr/libexec/java_home -v 1.8`
export JAVA_HOME=$JAVA_8_HOME

然后在terminal里面

source ~/.bashrc

grep 通配符

這里有一個(gè)很好的解釋妻味,每天一個(gè)linux命令
^ #錨定行的開始 如:'^grep'匹配所有以grep開頭的行。
$ #錨定行的結(jié)束 如:'grep$'匹配所有以grep結(jié)尾的行欣福。
. #匹配一個(gè)非換行符的字符 如:'gr.p'匹配gr后接一個(gè)任意字符责球,然后是p。

  • 匹配零個(gè)或多個(gè)先前字符 如:'*grep'匹配所有一個(gè)或多個(gè)空格后緊跟grep的行。 這個(gè)被加粗純粹是因?yàn)閙arkdown混淆了雏逾,不是我有意的

.* #一起用代表任意字符嘉裤。
[] #匹配一個(gè)指定范圍內(nèi)的字符,如'[Gg]rep'匹配Grep和grep栖博。
[^] #匹配一個(gè)不在指定范圍內(nèi)的字符屑宠,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個(gè)字母開頭,緊跟rep的行笛匙。
(..) #標(biāo)記匹配字符侨把,如'(love)',love被標(biāo)記為1妹孙。
< #錨定單詞的開始秋柄,如:'<grep'匹配包含以grep開頭的單詞的行贱纠。
> #錨定單詞的結(jié)束坑填,如'grep>'匹配包含以grep結(jié)尾的單詞的行固歪。
x{m} #重復(fù)字符x夕土,m次瓢姻,如:'0{5}'匹配包含5個(gè)o的行浅辙。
x{m,} #重復(fù)字符x,至少m次魔慷,如:'o{5,}'匹配至少有5個(gè)o的行丙笋。
x{m,n} #重復(fù)字符x雹舀,至少m次芦劣,不多于n次,如:'o{5,10}'匹配5--10個(gè)o的行说榆。
\w #匹配文字和數(shù)字字符虚吟,也就是[A-Za-z0-9],如:'G\w*p'匹配以G后跟零個(gè)或多個(gè)文字或數(shù)字字符签财,然后是p串慰。
\W #\w的反置形式,匹配一個(gè)或多個(gè)非單詞字符唱蒸,如點(diǎn)號(hào)句號(hào)等邦鲫。
\b #單詞鎖定符,如: '\bgrep\b'只匹配grep神汹。
POSIX字符:
為了在不同國(guó)家的字符編碼中保持一至庆捺,POSIX(The Portable Operating System Interface)增加了特殊的字符類,如[:alnum:]是[A-Za-z0-9]的另一個(gè)寫法屁魏。要把它們放到[]號(hào)內(nèi)才能成為正則表達(dá)式疼燥,如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外蚁堤,都支持POSIX的字符類醉者。
[:alnum:] #文字?jǐn)?shù)字字符
[:alpha:] #文字字符
[:digit:] #數(shù)字字符
[:graph:] #非空字符(非空格但狭、控制字符)
[:lower:] #小寫字符
[:cntrl:] #控制字符
[:print:] #非空字符(包括空格)
[:punct:] #標(biāo)點(diǎn)符號(hào)
[:space:] #所有空白字符(新行,空格撬即,制表符)
[:upper:] #大寫字符
[:xdigit:] #十六進(jìn)制數(shù)字(0-9立磁,a-f,A-F)

另外一個(gè)在登陸cluster運(yùn)行命令的時(shí)候常用的命令screen這個(gè)沒怎么看懂剥槐,但是覺得有用唱歧,主要是每次分析用interctive

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市粒竖,隨后出現(xiàn)的幾起案子颅崩,更是在濱河造成了極大的恐慌,老刑警劉巖蕊苗,帶你破解...
    沈念sama閱讀 206,839評(píng)論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件沿后,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡朽砰,警方通過查閱死者的電腦和手機(jī)尖滚,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來瞧柔,“玉大人漆弄,你說我怎么就攤上這事≡旃” “怎么了撼唾?”我有些...
    開封第一講書人閱讀 153,116評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)哥蔚。 經(jīng)常有香客問我倒谷,道長(zhǎng),這世上最難降的妖魔是什么肺素? 我笑而不...
    開封第一講書人閱讀 55,371評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮宇驾,結(jié)果婚禮上倍靡,老公的妹妹穿的比我還像新娘。我一直安慰自己课舍,他們只是感情好塌西,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,384評(píng)論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著筝尾,像睡著了一般捡需。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上筹淫,一...
    開封第一講書人閱讀 49,111評(píng)論 1 285
  • 那天站辉,我揣著相機(jī)與錄音,去河邊找鬼。 笑死饰剥,一個(gè)胖子當(dāng)著我的面吹牛殊霞,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播汰蓉,決...
    沈念sama閱讀 38,416評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼绷蹲,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了顾孽?” 一聲冷哼從身側(cè)響起祝钢,我...
    開封第一講書人閱讀 37,053評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎若厚,沒想到半個(gè)月后拦英,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,558評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡盹沈,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,007評(píng)論 2 325
  • 正文 我和宋清朗相戀三年龄章,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片乞封。...
    茶點(diǎn)故事閱讀 38,117評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡做裙,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出肃晚,到底是詐尸還是另有隱情锚贱,我是刑警寧澤,帶...
    沈念sama閱讀 33,756評(píng)論 4 324
  • 正文 年R本政府宣布关串,位于F島的核電站拧廊,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏晋修。R本人自食惡果不足惜吧碾,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,324評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望墓卦。 院中可真熱鬧倦春,春花似錦、人聲如沸落剪。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽忠怖。三九已至呢堰,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間凡泣,已是汗流浹背枉疼。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評(píng)論 1 262
  • 我被黑心中介騙來泰國(guó)打工皮假, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人往衷。 一個(gè)月前我還...
    沈念sama閱讀 45,578評(píng)論 2 355
  • 正文 我出身青樓钞翔,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親席舍。 傳聞我的和親對(duì)象是個(gè)殘疾皇子布轿,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,877評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容

  • awk: grep,sed,awk grep:文本過濾 sed:文本編輯 awk:文本格式化工具; 1 什么是aw...
    木林森閱讀 1,766評(píng)論 0 16
  • awk命令的基本使用 [root@shellscript ~]# head -n 3 /etc/passwd | ...
    古寒飛閱讀 1,062評(píng)論 0 2
  • 本章主要學(xué)習(xí)內(nèi)容awk介紹 ?awk基本用法 ?awk變量 ?awk格式化 ?awk操作符 ?awk條件判斷 ?a...
    楠人幫閱讀 1,254評(píng)論 0 8
  • 轉(zhuǎn)載 原文的排版和內(nèi)容都更加友好,并且詳細(xì),我只是在這里貼出了一部分留作自己以后參考和學(xué)習(xí),如希望更詳細(xì)了解AWK...
    XKirk閱讀 3,188評(píng)論 2 25
  • sed工具簡(jiǎn)介 用法:sed [-nefri] 動(dòng)作參數(shù):-n:使用安靜模式(Silent)模式来颤,一般在sed的...
    Bloo_m閱讀 993評(píng)論 0 1