大數(shù)據(jù)的讀取

大數(shù)據(jù)的讀取

因為從Xena上下載的甲基化數(shù)據(jù)太大,在讀取時遇到點麻煩,特定查了下有沒有什么方法可以只讀取一部分婉商,整理如下

大家有什么好的方法,敬請告知~

  • SCAN

    scan讀取.txt文件

    比如讀取下面文件的數(shù)據(jù)渣叛,每個數(shù)據(jù)以空格分隔

    image

(1)scan("student.txt", what="c") #以字符串的格式讀取數(shù)據(jù)

(2)scan("student.txt", what="c", nlines=3) #讀取3行

(3)scan("student.txt", what="c", skip=1) #忽略第1行

(4)lst <- scan("student.txt", what = list(xh="", xm="", xb="", nl=0), skip=1) #讀取數(shù)據(jù)并保存到變量中

讀取結果如下

image
image

scan讀取.csv文件

.csv的文件默認是逗號分隔丈秩,所以在讀取時要指定逗號為分隔符。

(1)scan("student.csv") #scan()函數(shù)默認以double格式存儲數(shù)據(jù)淳衙,而該文件中包含不能轉換的數(shù)據(jù)而報錯

(2)scan("student.csv", what="c") #由于未指定分隔符蘑秽,scan()函數(shù)將每一行作為一個數(shù)據(jù)域

(3)scan("student.csv", what="c", sep=",") #指定逗號作為分隔符后饺著,可以正確讀取數(shù)據(jù)了

(4)scan("student.csv", what="c", sep=",", skip = 1) #忽略第一行的標題行

(5)scan("student.csv", what = list(xh="", xm="", xb="", nl=0), sep=",", skip=1) #以列表的形式讀取數(shù)據(jù)

(6)m <- matrix(scan("student.csv", what="c", sep=",", skip=1), ncol=4, byrow=TRUE) #讀取數(shù)據(jù)并創(chuàng)建矩陣

image
  • fread

相比dplyr包,data.table包能夠更大程度地提高數(shù)據(jù)的處理速度肠牲。data.table,用于快速處理大數(shù)據(jù)集

fread讀取.tsv文件

  1. library(data.table)
  1. fread("example_data.txt",select=c("x1","x2"),data.table=F)
  1. data1<-fread("XXXXs.csv",header = T,stringsAsFactors = F)

readLines()

readLines()統(tǒng)計文件的行數(shù)

R語言逐行讀取文件:

con <- file(inFile, "r")
lineCnt = 0
while(1){
oneline = readLines(con, n = 1)
if(length(oneline) == 0){
break
}
lineCnt = lineCnt+1 ### 統(tǒng)計的文件行數(shù)
}
close(con)
?

REF:

scan:https://baijiahao.baidu.com/s?id=1609781727359063276

data.table包中的fread:https://www.cnblogs.com/nxld/p/6066797.html

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末幼衰,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子埂材,更是在濱河造成了極大的恐慌塑顺,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,252評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件俏险,死亡現(xiàn)場離奇詭異严拒,居然都是意外死亡,警方通過查閱死者的電腦和手機竖独,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評論 3 399
  • 文/潘曉璐 我一進店門裤唠,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人莹痢,你說我怎么就攤上這事种蘸。” “怎么了竞膳?”我有些...
    開封第一講書人閱讀 168,814評論 0 361
  • 文/不壞的土叔 我叫張陵航瞭,是天一觀的道長。 經(jīng)常有香客問我坦辟,道長刊侯,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,869評論 1 299
  • 正文 為了忘掉前任锉走,我火速辦了婚禮滨彻,結果婚禮上,老公的妹妹穿的比我還像新娘挪蹭。我一直安慰自己亭饵,他們只是感情好,可當我...
    茶點故事閱讀 68,888評論 6 398
  • 文/花漫 我一把揭開白布梁厉。 她就那樣靜靜地躺著辜羊,像睡著了一般。 火紅的嫁衣襯著肌膚如雪词顾。 梳的紋絲不亂的頭發(fā)上只冻,一...
    開封第一講書人閱讀 52,475評論 1 312
  • 那天,我揣著相機與錄音计技,去河邊找鬼。 笑死山橄,一個胖子當著我的面吹牛垮媒,可吹牛的內(nèi)容都是我干的舍悯。 我是一名探鬼主播,決...
    沈念sama閱讀 41,010評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼睡雇,長吁一口氣:“原來是場噩夢啊……” “哼萌衬!你這毒婦竟也來了?” 一聲冷哼從身側響起它抱,我...
    開封第一講書人閱讀 39,924評論 0 277
  • 序言:老撾萬榮一對情侶失蹤秕豫,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后观蓄,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體混移,經(jīng)...
    沈念sama閱讀 46,469評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,552評論 3 342
  • 正文 我和宋清朗相戀三年侮穿,在試婚紗的時候發(fā)現(xiàn)自己被綠了歌径。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,680評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡亲茅,死狀恐怖回铛,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情克锣,我是刑警寧澤茵肃,帶...
    沈念sama閱讀 36,362評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站袭祟,受9級特大地震影響验残,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜榕酒,卻給世界環(huán)境...
    茶點故事閱讀 42,037評論 3 335
  • 文/蒙蒙 一胚膊、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧想鹰,春花似錦紊婉、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至何缓,卻和暖如春肢础,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背碌廓。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評論 1 274
  • 我被黑心中介騙來泰國打工传轰, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人谷婆。 一個月前我還...
    沈念sama閱讀 49,099評論 3 378
  • 正文 我出身青樓慨蛙,卻偏偏與公主長得像辽聊,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子期贫,可洞房花燭夜當晚...
    茶點故事閱讀 45,691評論 2 361

推薦閱讀更多精彩內(nèi)容