單細胞數(shù)據(jù)分析中future包的使用

跑錨點整合的時候遇到報錯

scRNA.anchors <- FindIntegrationAnchors(object.list = scRNAlist,
                                        normalization.method = "SCT",  
                                        anchor.features = scRNA.features)

提示future.globals.maxSize不足
解決辦法參考:stackoverflow

library(future)
# 3250*1024^2 = 3407872000
options(future.globals.maxSize= 4000000000) #大于3407872000即可
scRNA.anchors <- FindIntegrationAnchors(object.list = scRNAlist,
                                        normalization.method = "SCT",  
                                        anchor.features = scRNA.features)

基于future的Seurat多線程并行策略

如何在Seurat中使用并行策略

在Seurat的 pipeline中符匾,我們是可以使用future框架進行并行運算的啊胶。更多說明可以參考future。要訪問 Seurat 中的并行函數(shù)版本趣倾,需要加載future包并設置plan某饰。plan將指定如何運行該函數(shù)善绎。默認行為是以非并行方式(按順序)進行诫尽。為了實現(xiàn)并行,我們通常建議"多線程"策略剂跟。默認情況下驹止,這將調用所有可用的核观蜗,但可以設置workers參數(shù)以限制同時活動future的數(shù)量。

library(future)
# check the current active plan
plan()
## sequential:
## - args: function (..., envir = parent.frame())
## - tweaked: FALSE
## - call: NULL
# change the current plan to access parallelization
plan("multiprocess", workers = 4)
plan()
## multiprocess:
## - args: function (..., envir = parent.frame(), workers = 4)
## - tweaked: TRUE
## - call: plan("multiprocess", workers = 4)
seurat的"futurized"功能

以下函數(shù)已被編寫可以利用future 框架抖仅,如果設置適當?shù)?code>plan撤卢,將進行并行梧兼。

例如,要運行并行版本渡紫,只需要設置future 并照常調用FindMarkers()功能考赛。

例如在跑FindMarkers的時候

library(Seurat)
pbmc <- readRDS("../data/pbmc3k_final.rds")

# Enable parallelization
plan("multiprocess", workers = 4)
markers <- FindMarkers(pbmc, ident.1 = "NK", verbose = FALSE)
sequential vs. parallel

這里,我們將執(zhí)行一個簡單的比較唧喉,比較有和沒有并行運行的時間差異忍抽。注意,雖然我們預計使用并行策略將減少上述函數(shù)的運行時間干跛,但減少的幅度將取決于許多因素(例如數(shù)據(jù)集的大小锈锤、線程數(shù)闲询、系統(tǒng)的規(guī)格浅辙、future框架等)记舆。以下基準是在運行 Ubuntu 16.04.5 LTS 的計算機上執(zhí)行的,配置是 Intel(R) Core(TM) i7-6800K CPU @ 3.40GHz and 96 GB of RAM

library(ggplot2)
library(cowplot)
ggplot(timing.comparisons, aes(fxn, time)) + geom_bar(aes(fill = strategy), stat = "identity", position = "dodge") +
    ylab("Time(s)") + xlab("Function") + theme_cowplot()
常見問題
  • 我的進度欄去哪里了御蒲?
    遺憾的是诊赊,在任何平行模式下運行這些函數(shù)時,您將失去進度欄碘箍。這是由于future框架和 R 中的一些技術限制造成的鲸郊。如果要監(jiān)控函數(shù)進度,則需要放棄并行化四濒,選擇使用plan("sequential")职辨。

  • 如果我不斷看到以下錯誤,該怎么辦姆涩?

Error in getGlobalsAndPackages(expr, envir = envir, globals = TRUE) : 
  The total size of the X globals that need to be exported for the future expression ('FUN()') is X GiB. 
  This exceeds the maximum allowed size of 500.00 MiB (option 'future.globals.maxSize'). The X largest globals are ... 

對于某些函數(shù)惭每,每個線程需要訪問某些全局變量。如果這些大于默認限制宏赘,將看到此錯誤黎侈。要繞過這一點,可以設置 options(future.globals.maxSize = X)贴汪,X 是字節(jié)中允許的最大值。因此业簿,要將其設置為1GB阳懂,可運行options(future.globals.maxSize = 1000 * 1024^2)。注意巷燥,這將增加RAM使用量号枕,因此請注意設置合適的數(shù)字。

參考:https://satijalab.org/seurat/articles/future_vignette.html

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
禁止轉載邀跃,如需轉載請通過簡信或評論聯(lián)系作者蛙紫。
  • 序言:七十年代末坑傅,一起剝皮案震驚了整個濱河市喷斋,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌浆西,老刑警劉巖顽腾,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件抄肖,死亡現(xiàn)場離奇詭異,居然都是意外死亡漓摩,警方通過查閱死者的電腦和手機管毙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門桌硫,熙熙樓的掌柜王于貴愁眉苦臉地迎上來啃炸,“玉大人肮帐,你說我怎么就攤上這事⊙凳啵” “怎么了?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵十酣,是天一觀的道長。 經(jīng)常有香客問我耸采,道長,這世上最難降的妖魔是什么搓彻? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任旭贬,我火速辦了婚禮稀轨,結果婚禮上岸军,老公的妹妹穿的比我還像新娘。我一直安慰自己杨名,他們只是感情好猖毫,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布吁断。 她就那樣靜靜地躺著坞生,像睡著了一般掷伙。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上卒废,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天宙地,我揣著相機與錄音宅粥,去河邊找鬼。 笑死秽梅,一個胖子當著我的面吹牛,可吹牛的內容都是我干的环壤。 我是一名探鬼主播竹观,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼臭增,長吁一口氣:“原來是場噩夢啊……” “哼竹习!你這毒婦竟也來了?” 一聲冷哼從身側響起拗窃,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤随夸,失蹤者是張志新(化名)和其女友劉穎震放,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體殿遂,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年耳峦,在試婚紗的時候發(fā)現(xiàn)自己被綠了焕毫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡循签,死狀恐怖幸乒,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情聚唐,我是刑警寧澤腔召,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站亲桦,受9級特大地震影響浊仆,放射性物質發(fā)生泄漏。R本人自食惡果不足惜舔琅,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一备蚓、第九天 我趴在偏房一處隱蔽的房頂上張望囱稽。 院中可真熱鬧,春花似錦战惊、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽襟锐。三九已至膛锭,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間莫杈,已是汗流浹背奢入。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工腥光, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人武福。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓捉片,卻偏偏與公主長得像,于是被迫代替她去往敵國和親伍纫。 傳聞我的和親對象是個殘疾皇子宗雇,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內容