FAST: A Fast Stencil Autotuning Framework Based on an Optimal-solution Space Model

摘要:

本文提出了一個基于OSS(Optimal-Solution Space) Model構(gòu)建和機(jī)器學(xué)習(xí)預(yù)測的Stencil自動優(yōu)化框架萄涯∷J簦框架通過feature extractor提取architecture,algorithm般堆,input等多個維度的特征構(gòu)建OSS却邓,并訓(xùn)練off-line的模型以提供online的預(yù)測视译。通過與SDSL,PATUS等state-of-the-art自動優(yōu)化系統(tǒng)的比較入蛆,F(xiàn)AST可以極快的速度取得相當(dāng)?shù)膬?yōu)化性能响蓉。

Motivation:

文章基于的一個主要觀察是,two stencil computations share the same (near-)optimal solutions if they have high similarity in computing features.

OSS:

可以將OSS理解為選取K最優(yōu)的策略哨毁,而非得到單一的最優(yōu)解枫甲。


我們希望做得是從feature vector得到OSS。


具體的映射則不是f->OSS的映射扼褪,而是x(feature difference)到OR(Overlapping Ratio)的映射想幻。




y的定義參見原文,不再列舉更多公式话浇。

一個值得注意的問題是脏毯,OSS規(guī)模的選擇。規(guī)模太小幔崖,準(zhǔn)確率肯定似乎有問題的食店,規(guī)模大了開銷又上去了渣淤。通過OSS規(guī)模和OR以及Performance Lower Bound的關(guān)系,作者發(fā)現(xiàn)得到如下結(jié)論:

a small OSS covers most of the solutions with the highest performance.

larger OSSs have higher OR they share more optimal (near-optimal) solutions with each other.

代碼生成

eDSL codes--->high level language(native code)--->auto-tuned code(blocking吉嫩,OpenMP价认,unrolling,SIMDization自娩,Compiler flag etc)

評估

Dataset

FDTD????3D 5-point stencil with order-1????computational electrodynamics.

HEAT????3D 7-point stencil with order-1????chemical di?usion

WAVE????3D 25-points stencil with order-4? ? fluid dynamics,

POISSON????3D 19-points stencil with order-1????mechanical engineering

HIMENO????3D 19-points with order-1? ? UNKNOWN

Comparation

Baseline:straightforward implementation

SDSL:The stencil domain specic language (SDSL)

Patus:The Patus stencil optimization framework

術(shù)語習(xí)得

自動優(yōu)化策略:

>search-based 檢索空間大用踩,研究者采用pruning,heuristic searching等優(yōu)化手段

>prediction-based 開銷小椒功,但并不好構(gòu)建捶箱。(對輸入敏感,near-optimal和optimal區(qū)分度不夠)

DSL(Domain Specific Language)

對于一些特定領(lǐng)域的問題动漾,構(gòu)建專門的DSL語言進(jìn)行描述丁屎。

執(zhí)行source to source的轉(zhuǎn)換,將DSL轉(zhuǎn)為某高級語言(C/CUDA等)旱眯;再對高級語言進(jìn)行優(yōu)化和代碼生成晨川。

我們可以認(rèn)為理想情況下,相關(guān)領(lǐng)域的專家可以非常容易地利用DSL進(jìn)行算法設(shè)計删豺,而不需掌握很多編程語言的知識共虑。不過為了DSL,我們顯然需要構(gòu)建相應(yīng)的編譯器以實現(xiàn)代碼的轉(zhuǎn)換呀页,比如使用ROSE妈拌,LLVM/Clang。

polyhedral compiler optimization

參見SDSL論文

相關(guān)文章

多平臺自動優(yōu)化

S. Hong, H. Cha, E. Sedlar, and K. Olukotun. Green-marl: a dsl for easy and ecient graph analysis. 2012

C. Matthias, S. Olaf, and B. Helmar. Patus: A code generation and autotuning framework for parallel iterative stencil computations on modern microarchitectures. 2011

T. Lutz, C. Fensch, and M. Cole. Partans: An autotuning framework for stencil computation on multi-gpu systems. 2013

M. Khan, P. Basu, G. Rudy, M. Hall, C. Chen, and J. Chame. A script-based autotuning compiler system to generate high-performance cuda code.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蓬蝶,一起剝皮案震驚了整個濱河市尘分,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌丸氛,老刑警劉巖培愁,帶你破解...
    沈念sama閱讀 219,270評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異缓窜,居然都是意外死亡定续,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評論 3 395
  • 文/潘曉璐 我一進(jìn)店門禾锤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來私股,“玉大人,你說我怎么就攤上這事恩掷”用#” “怎么了?”我有些...
    開封第一講書人閱讀 165,630評論 0 356
  • 文/不壞的土叔 我叫張陵螃成,是天一觀的道長旦签。 經(jīng)常有香客問我查坪,道長,這世上最難降的妖魔是什么宁炫? 我笑而不...
    開封第一講書人閱讀 58,906評論 1 295
  • 正文 為了忘掉前任偿曙,我火速辦了婚禮,結(jié)果婚禮上羔巢,老公的妹妹穿的比我還像新娘望忆。我一直安慰自己,他們只是感情好竿秆,可當(dāng)我...
    茶點故事閱讀 67,928評論 6 392
  • 文/花漫 我一把揭開白布启摄。 她就那樣靜靜地躺著,像睡著了一般幽钢。 火紅的嫁衣襯著肌膚如雪歉备。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,718評論 1 305
  • 那天匪燕,我揣著相機(jī)與錄音蕾羊,去河邊找鬼。 笑死帽驯,一個胖子當(dāng)著我的面吹牛龟再,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播尼变,決...
    沈念sama閱讀 40,442評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼利凑,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了嫌术?” 一聲冷哼從身側(cè)響起哀澈,我...
    開封第一講書人閱讀 39,345評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎蛉威,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體走哺,經(jīng)...
    沈念sama閱讀 45,802評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡蚯嫌,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,984評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了丙躏。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片择示。...
    茶點故事閱讀 40,117評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖晒旅,靈堂內(nèi)的尸體忽然破棺而出栅盲,到底是詐尸還是另有隱情,我是刑警寧澤废恋,帶...
    沈念sama閱讀 35,810評論 5 346
  • 正文 年R本政府宣布谈秫,位于F島的核電站扒寄,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏拟烫。R本人自食惡果不足惜该编,卻給世界環(huán)境...
    茶點故事閱讀 41,462評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望硕淑。 院中可真熱鬧课竣,春花似錦、人聲如沸置媳。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,011評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽拇囊。三九已至迂曲,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間寂拆,已是汗流浹背奢米。 一陣腳步聲響...
    開封第一講書人閱讀 33,139評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留纠永,地道東北人鬓长。 一個月前我還...
    沈念sama閱讀 48,377評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像尝江,于是被迫代替她去往敵國和親涉波。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,060評論 2 355

推薦閱讀更多精彩內(nèi)容