【aRsenal-3】KEGG API

由于工作需要震桶,今天花了一上午的時間研究了一下KEGG的API蜡吧,雖然走了不少彎路毫蚓,但最終還是圓滿完成任務。下面我將復盤整個過程昔善,和大家分享在使用KEGG API中的經歷和體會元潘。

事情的起因是這樣的,我手上有一個KEGG的ID列表君仆,我的任務是找到這些ID所對應的gene以及它們所在的pathway翩概。


KO_list.png

我已經很多年沒有用過KEGG了牲距,剛拿到這些ID的時候也是一頭霧水。經過一番搜索(也要感謝小伙伴們的指點)钥庇,我在KEGG的網(wǎng)站上找到了這些ID以及我想要的gene和pathway信息牍鞠。


keg_web.png

我一開始想抓這個網(wǎng)頁,解析HTML文件评姨,但是發(fā)現(xiàn)這些信息是javascript程序動態(tài)產生的难述,此路不通。在這個網(wǎng)頁的右上方有一個【Download htext】的鏈接吐句,下載后得到的是一個后綴名為 .keg 的文本文件胁后,看上去和網(wǎng)頁上的內容一樣。


keg.png

如果這是個xml或者是json格式的文件嗦枢,故事就到此為止了攀芯,因為有很多現(xiàn)成的工具可以拿來解析它。但是這個文件的格式比較特殊文虏,得自己動手寫程序來提取侣诺,比較麻煩。有沒有更簡單一點的方法呢氧秘?

身為一名Rapper年鸳,不找找Bioconductor的包怎么行呢?果然有一個叫KEGGREST的包可以方便的調用KEGG的API敏储,這樣問題就變得簡單多了阻星。
https://www.bioconductor.org/packages/release/bioc/vignettes/KEGGREST/inst/doc/KEGGREST-vignette.html

KEGGREST.png

但是,我高興的太早了已添!在使用KEGGREST的過程中妥箕,不斷有 Timeout was reached 的錯誤產生,真的讓人抓狂更舞!


code1.png

于是我再回過頭來研究KEGGREST的原理畦幢。它實際上是先通過KEGG API下載一個文本文件,然后再去解析缆蝉。而我現(xiàn)在就卡在了調用API這一步宇葱。

弄清楚原理之后,我調整了自己的策略:首先用外部工具來調用API刊头,將文本文件保存下來黍瞧,然后用KEGGREST內部的parser來解析這些文件。

具體做法如下:

  1. 在不借助KEGGREST提供的keggGet函數(shù)的情況下原杂,我得先搞清楚KEGG API 的URL格式是怎樣的印颤。
    http://www.kegg.jp/kegg/docs/keggapi.html

    KEGG_API.png

    我需要的operation是get,dbentries就是ID號穿肄,所以API的URL就可以寫成:http://rest.kegg.jp/get/K00001

  2. 然后用curl來調用API年局,由于我有3000多個ID际看,所以需要生成一個腳本來批量下載:


    bash.png

    bash腳本的內容:


    curl_list.png

    運行該腳本,下載過程很順利矢否。我發(fā)現(xiàn)每次下載前總是要停大概15秒左右仲闽,也許這就是前面的方法總是Timeout的原因吧。具體原因就不深究了僵朗,只要能達到我的目的就行赖欣。
    curl.png
  3. 接下來要弄清楚KEGGREST包中的哪個函數(shù)負責文本解析。通過查看keggGet函數(shù)的代碼衣迷,我覺得應該是.flatFileParser函數(shù)


    code2.png
  4. 目標明確后畏鼓,我們就來下載KEGGREST的源代碼(Package Source)
    https://www.bioconductor.org/packages/release/bioc/html/KEGGREST.html

    package_source.png

    將KEGGREST_1.14.0.tar.gz解壓后酱酬,我在它的R目錄下發(fā)現(xiàn)了一個parsers.R的文件壶谒,我們要找的函數(shù)就在里面。

  5. 最后膳沽,我們用下面的代碼來解析下載好的文本文件


    code3.png

    需要注意的是汗菜,這里不要再寫library(KEGGREST),直接source它的2個文件就可以了挑社。.flatFileParser返回的是一個長度為1的list陨界,list里面又嵌套了一個list。

  6. 最終的結果如下痛阻,任務圓滿完成菌瘪!


    table.png

我的方法不一定是最好的,歡迎廣大Rapper提供更好的方法和大家分享阱当。

qrcode.jpg
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末俏扩,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子弊添,更是在濱河造成了極大的恐慌录淡,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件油坝,死亡現(xiàn)場離奇詭異嫉戚,居然都是意外死亡,警方通過查閱死者的電腦和手機澈圈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進店門彬檀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人瞬女,你說我怎么就攤上這事窍帝。” “怎么了拆魏?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵盯桦,是天一觀的道長慈俯。 經常有香客問我,道長拥峦,這世上最難降的妖魔是什么贴膘? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮略号,結果婚禮上刑峡,老公的妹妹穿的比我還像新娘。我一直安慰自己玄柠,他們只是感情好突梦,可當我...
    茶點故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著羽利,像睡著了一般宫患。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上这弧,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天娃闲,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛桶蛔,可吹牛的內容都是我干的。 我是一名探鬼主播属拾,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼冷溶!你這毒婦竟也來了渐白?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤挂洛,失蹤者是張志新(化名)和其女友劉穎礼预,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體虏劲,經...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡托酸,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了柒巫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片励堡。...
    茶點故事閱讀 40,912評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖堡掏,靈堂內的尸體忽然破棺而出应结,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布鹅龄,位于F島的核電站揩慕,受9級特大地震影響,放射性物質發(fā)生泄漏扮休。R本人自食惡果不足惜迎卤,卻給世界環(huán)境...
    茶點故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望玷坠。 院中可真熱鬧蜗搔,春花似錦、人聲如沸八堡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽兄渺。三九已至缝龄,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間溶耘,已是汗流浹背二拐。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留凳兵,地道東北人。 一個月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓企软,卻偏偏與公主長得像庐扫,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子仗哨,可洞房花燭夜當晚...
    茶點故事閱讀 45,922評論 2 361

推薦閱讀更多精彩內容

  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理形庭,服務發(fā)現(xiàn),斷路器厌漂,智...
    卡卡羅2017閱讀 134,716評論 18 139
  • ¥開啟¥ 【iAPP實現(xiàn)進入界面執(zhí)行逐一顯】 〖2017-08-25 15:22:14〗 《//首先開一個線程萨醒,因...
    小菜c閱讀 6,451評論 0 17
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,332評論 25 707
  • 《裕語言》速成開發(fā)手冊3.0 官方用戶交流:iApp開發(fā)交流(1) 239547050iApp開發(fā)交流(2) 10...
    葉染柒丶閱讀 27,086評論 5 19
  • 昨晚接到通知,莫名其妙被安排多休息一天苇倡。第二日清晨吃完早飯富纸,再次莫名其妙被老板安排去清潔她的廚房。 第一項任務是清...
    口十君閱讀 179評論 0 0