MxNet源碼解析(3) engine

1. 前言

2. Engine

在MXNet的官網(wǎng)對(duì)Engine有一定的介紹砸民,首先我們要知道Engine是用于并行化計(jì)算過程的探熔。push用于將一個(gè)待執(zhí)行的函數(shù)送給engine運(yùn)行泉蝌,其中read_vars表示該函數(shù)的輸入拢蛋,write_vars表示該函數(shù)的輸出玄妈。這樣整個(gè)計(jì)算過程可以表示為一個(gè)有向無環(huán)圖凰荚。使用特定的算法就可以規(guī)劃出圖的計(jì)算順序曲伊,具體的計(jì)算的完成叽讳,可以通過線程池等方式來進(jìn)行。

3. engine.h

Engine類聲明在文件include/engine.h中坟募。

  • NewVariable:返回一個(gè)VarHandle岛蚤,它是一個(gè)指向Var類型的指針,Var是在engine命名空間中用于表示一個(gè)變量的數(shù)據(jù)結(jié)構(gòu)懈糯。
  • NewOperator:返回一個(gè)OperHandle涤妒,它的參數(shù):待執(zhí)行函數(shù),函數(shù)簽名void(RunContext, CallbackOnComplete)赚哗,該函數(shù)輸入變量她紫,輸出變量,函數(shù)的性質(zhì)(表示函數(shù)的類型屿储,例如復(fù)制贿讹,計(jì)算),該op的名字扩所,以及是否是一個(gè)等待的op围详。
  • Push:將一個(gè)oppush給engine
  • PushAsyncFn:將一個(gè)函數(shù)push給engine
  • WaitForVar:等待一個(gè)變量完成對(duì)它運(yùn)算的op
  • Get:返回單例engine
  • PushSync:將一個(gè)函數(shù)push給engine,該方法就是將PushAsyncFn的函數(shù)和函數(shù)的回調(diào)函數(shù)一起執(zhí)行。
  • CreateCallback:返回一個(gè)回調(diào)函數(shù)助赞,類型是CallbackOnComplete买羞。
  • DeduplicateVarHandle:去掉重復(fù)的變量,去掉輸入變量中出現(xiàn)在輸出變量中的

4. naive_engine.h

naive顧名思義雹食,最‘簡(jiǎn)單’的engine的實(shí)現(xiàn)畜普。

  • NaiveOpr:定義了在engine中,一個(gè)操作應(yīng)該具備的結(jié)構(gòu):Fn 待運(yùn)行函數(shù)群叶,const_vars 輸入吃挑,mutable_vars 輸出,prop 函數(shù)的類型街立,opr_name 操作的名字舶衬。
  • NewOperator:返回一個(gè)操作,完成結(jié)構(gòu)的轉(zhuǎn)換
  • Push:將一個(gè)op push給engine赎离。

5. threaded_engine.h

  • OprBlock:表示一個(gè)push給engine的操作逛犹,包含了一個(gè)特定的操作,一個(gè)wait值表示需要等待的任務(wù)數(shù)梁剔,運(yùn)行環(huán)境context虽画。
  • VersionedVarBlock:var的version信息表示該var被操作改變的情況。該結(jié)構(gòu)體是ThreadVar鏈表的元素荣病。OprBlock* trigger表示出發(fā)的操作码撰。
  • ThreadedVar:鏈表,表示一組需要執(zhí)行的操作个盆。
    • AppendReadDependency:將一個(gè)對(duì)該變量進(jìn)行讀的操作加入規(guī)劃
    • AppendWriteDependency
    • read_to_read():是否完成了所有的寫操作
    • head_:頭節(jié)點(diǎn)
    • pending_write_:下一個(gè)要進(jìn)行的寫操作
  • ThreadedOpr:用在OprBlock脖岛,
    • fn:待執(zhí)行函數(shù)
    • const_vars, mutable_vars:表示輸入輸出
  • ThreadedEngine:所有的ThreadedEngine的基類。它規(guī)劃所有操作砾省,并調(diào)用PushToExecute來執(zhí)行任務(wù)鸡岗。
    • ExecuteOprBlock

6. stream_manager.h

使用Round-Robin算法來分發(fā)GPU的streams混槐。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末编兄,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子声登,更是在濱河造成了極大的恐慌狠鸳,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,383評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件悯嗓,死亡現(xiàn)場(chǎng)離奇詭異件舵,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)脯厨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門铅祸,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事临梗∥卸螅” “怎么了?”我有些...
    開封第一講書人閱讀 157,852評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵盟庞,是天一觀的道長(zhǎng)吃沪。 經(jīng)常有香客問我,道長(zhǎng)什猖,這世上最難降的妖魔是什么票彪? 我笑而不...
    開封第一講書人閱讀 56,621評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮不狮,結(jié)果婚禮上降铸,老公的妹妹穿的比我還像新娘。我一直安慰自己摇零,他們只是感情好垮耳,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,741評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著遂黍,像睡著了一般终佛。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上雾家,一...
    開封第一講書人閱讀 49,929評(píng)論 1 290
  • 那天铃彰,我揣著相機(jī)與錄音,去河邊找鬼芯咧。 笑死牙捉,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的敬飒。 我是一名探鬼主播邪铲,決...
    沈念sama閱讀 39,076評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼无拗!你這毒婦竟也來了带到?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,803評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤英染,失蹤者是張志新(化名)和其女友劉穎揽惹,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體四康,經(jīng)...
    沈念sama閱讀 44,265評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡搪搏,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,582評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了闪金。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片疯溺。...
    茶點(diǎn)故事閱讀 38,716評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出囱嫩,到底是詐尸還是另有隱情嗅辣,我是刑警寧澤,帶...
    沈念sama閱讀 34,395評(píng)論 4 333
  • 正文 年R本政府宣布挠说,位于F島的核電站澡谭,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏损俭。R本人自食惡果不足惜蛙奖,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,039評(píng)論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望杆兵。 院中可真熱鬧雁仲,春花似錦、人聲如沸琐脏。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽日裙。三九已至吹艇,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間昂拂,已是汗流浹背受神。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評(píng)論 1 266
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留格侯,地道東北人鼻听。 一個(gè)月前我還...
    沈念sama閱讀 46,488評(píng)論 2 361
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像联四,于是被迫代替她去往敵國(guó)和親撑碴。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,612評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容

  • 第2章 基本語法 2.1 概述 基本句法和變量 語句 JavaScript程序的執(zhí)行單位為行(line)朝墩,也就是一...
    悟名先生閱讀 4,132評(píng)論 0 13
  • 轉(zhuǎn)載自:https://halfrost.com/go_map_chapter_one/ https://half...
    HuJay閱讀 6,132評(píng)論 1 5
  • Lua 5.1 參考手冊(cè) by Roberto Ierusalimschy, Luiz Henrique de F...
    蘇黎九歌閱讀 13,770評(píng)論 0 38
  • 看醉拓,所有都廢棄了 煙頭詩歌吉他 和結(jié)霜的奶茶 在這個(gè)空無一人的房間 是否有人在門口望著 給我個(gè)期盼,也望著 寂寞重...
    珂柡閱讀 269評(píng)論 0 0
  • 今天正式地想到死亡這個(gè)名詞鱼辙,以死亡的角度假設(shè)了很多場(chǎng)景廉嚼。人終有一死玫镐,可是活到100歲的人我們覺得是壽終正寢倒戏,...
    睡不著睡不醒320閱讀 144評(píng)論 0 1