并行計(jì)算(Parallel Computing)

并行計(jì)算(Parallel Computing)是指同時(shí)使用多種計(jì)算資源解決計(jì)算問(wèn)題的過(guò)程创坞,是提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的一種有效手段断凶。它的基本思想是用多個(gè)處理器來(lái)協(xié)同求解同一問(wèn)題,即將被求解的問(wèn)題分解成若干個(gè)部分报腔,各部分均由一個(gè)獨(dú)立的處理機(jī)來(lái)并行計(jì)算株搔。并行計(jì)算系統(tǒng)既可以是專門設(shè)計(jì)的、含有多個(gè)處理器的超級(jí)計(jì)算機(jī)纯蛾,也可以是以某種方式互連的若干臺(tái)的獨(dú)立計(jì)算機(jī)構(gòu)成的集群纤房。通過(guò)并行計(jì)算集群完成數(shù)據(jù)的處理,再將處理的結(jié)果返回給用戶翻诉。

并行計(jì)算或稱平行計(jì)算是相對(duì)于串行計(jì)算來(lái)說(shuō)的炮姨。所謂并行計(jì)算可分為時(shí)間上的并行和空間上的并行捌刮。 時(shí)間上的并行就是指流水線技術(shù),而空間上的并行則是指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算剑令。

并行計(jì)算科學(xué)中主要研究的是空間上的并行問(wèn)題糊啡。從程序和算法設(shè)計(jì)人員的角度來(lái)看,并行計(jì)算又可分為數(shù)據(jù)并行和任務(wù)并行吁津∨镄睿空間上的并行導(dǎo)致了兩類并行機(jī)的產(chǎn)生,按照Flynn的說(shuō)法分為:單指令流多數(shù)據(jù)流(SIMD)多指令流多數(shù)據(jù)流(MIMD)碍脏。我們常用的串行機(jī)也叫做單指令流單數(shù)據(jù)流(SISD)梭依。

MIMD類的機(jī)器又可分為以下常見的五類:并行向量處理機(jī)(PVP)、對(duì)稱多處理機(jī)(SMP)典尾、大規(guī)模并行處理機(jī)(MPP)役拴、工作站機(jī)群(COW)、分布式共享存儲(chǔ)處理機(jī)(DSM)钾埂。

目前常見的并行編程技術(shù)包括:MPI河闰、OPENMP、OPENCL褥紫、OPENGL姜性、CUDA。下面了解一下這些常見并行編程技術(shù)的基礎(chǔ)概念:

(1)MPI

MPI(Message Passing Interface)是一種廣泛采用的基于消息傳遞的并行編程技術(shù)髓考。MPI消息傳遞接口是一種編程接口標(biāo)準(zhǔn)部念,而不是一種具體的編程語(yǔ)言。簡(jiǎn)而言之氨菇,MPI標(biāo)準(zhǔn)定義了一組具有可移植性的編程接口儡炼。各個(gè)廠商或組織遵循這些標(biāo)準(zhǔn)實(shí)現(xiàn)自己的MPI軟件包,典型的實(shí)現(xiàn)包括開放源代碼的MPICH查蓉、LAM MPI以及不開放源代碼的Intel MPI乌询。由于MPI提供了統(tǒng)一的編程接口,程序員只需要設(shè)計(jì)好并行算法豌研,使用相應(yīng)的MPI庫(kù)就可以實(shí)現(xiàn)基于消息傳遞的并行計(jì)算楣责。MPI支持多種操作系統(tǒng),包括大多數(shù)的類UNIX和Windows系統(tǒng)聂沙。

(2)OPENMP

OpenMP是由OpenMP Architecture Review Board牽頭提出的秆麸,并已被廣泛接受的,用于共享內(nèi)存并行系統(tǒng)的多線程程序設(shè)計(jì)的一套指導(dǎo)性的編譯處理方案(Compiler Directive)及汉。OpenMP支持的編程語(yǔ)言包括C語(yǔ)言沮趣、C++和Fortran;而支持OpenMp的編譯器包括Sun Compiler坷随,GNU Compiler和Intel Compiler等房铭。OpenMp提供了對(duì)并行算法的高層的抽象描述驻龟,程序員通過(guò)在源代碼中加入專用的#pragma來(lái)指明自己的意圖,由此編譯器可以自動(dòng)將程序進(jìn)行并行化缸匪,并在必要之處加入同步互斥以及通信翁狐。當(dāng)選擇忽略這些#pragma,或者編譯器不支持OpenMP時(shí)凌蔬,程序又可退化為通常的程序(一般為串行)露懒,代碼仍然可以正常運(yùn)作,只是不能利用多線程來(lái)加速程序執(zhí)行砂心。

(3)OPENCL

OpenCL(Open Computing Language懈词,開放運(yùn)算語(yǔ)言)是第一個(gè)面向異構(gòu)系統(tǒng)通用目的并行編程的開放式、免費(fèi)標(biāo)準(zhǔn)辩诞,也是一個(gè)統(tǒng)一的編程環(huán)境坎弯,便于軟件開發(fā)人員為高性能計(jì)算服務(wù)器、桌面計(jì)算系統(tǒng)译暂、手持設(shè)備編寫高效輕便的代碼抠忘,而且廣泛適用于多核心處理器(CPU)、圖形處理器(GPU)外永、Cell類型架構(gòu)以及數(shù)字信號(hào)處理器(DSP)等其他并行處理器崎脉,在游戲、娛樂(lè)象迎、科研、醫(yī)療等各種領(lǐng)域都有廣闊的發(fā)展前景呛踊。

OpenCL是一個(gè)為異構(gòu)平臺(tái)編寫程序的框架砾淌,此異構(gòu)平臺(tái)可由CPU,GPU或其他類型的處理器組成谭网。OpenCL由一門用于編寫kernels (在OpenCL設(shè)備上運(yùn)行的函數(shù))的語(yǔ)言(基于C99)和一組用于定義并控制平臺(tái)的API組成汪厨。OpenCL提供了基于任務(wù)分割和數(shù)據(jù)分割的并行計(jì)算機(jī)制。OpenCL類似于另外兩個(gè)開放的工業(yè)標(biāo)準(zhǔn)OpenGL和OpenAL愉择,這兩個(gè)標(biāo)準(zhǔn)分別用于三維圖形和計(jì)算機(jī)音頻方面劫乱。OpenCL擴(kuò)展了GPU用于圖形生成之外的能力。OpenCL由非盈利性技術(shù)組織Khronos Group掌管锥涕。

(4)OPENGL

OpenGL(Open Graphics Library)是個(gè)定義了一個(gè)跨編程語(yǔ)言衷戈、跨平臺(tái)的編程接口規(guī)格的專業(yè)的圖形程序接口。它用于三維圖象(二維的亦可)层坠,是一個(gè)功能強(qiáng)大殖妇,調(diào)用方便的底層圖形庫(kù)。

(5)CUDA

CUDA(Compute Unified Device Architecture)是一種由顯卡廠商N(yùn)VIDIA推出的通用并行計(jì)算架構(gòu)破花,該架構(gòu)使GPU能夠解決復(fù)雜的計(jì)算問(wèn)題谦趣。 它包含了CUDA指令集架構(gòu)(ISA)以及GPU內(nèi)部的并行計(jì)算引擎疲吸。 開發(fā)人員現(xiàn)在可以使用C語(yǔ)言來(lái)為CUDA?架構(gòu)編寫程序,C語(yǔ)言是應(yīng)用最廣泛的一種高級(jí)編程語(yǔ)言前鹅。所編寫出的程序于是就可以在支持CUDA?的處理器上以超高性能運(yùn)行摘悴。CUDA3.0已經(jīng)開始支持C++和FORTRAN。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末舰绘,一起剝皮案震驚了整個(gè)濱河市蹂喻,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌除盏,老刑警劉巖叉橱,帶你破解...
    沈念sama閱讀 222,681評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異者蠕,居然都是意外死亡窃祝,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門踱侣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)粪小,“玉大人,你說(shuō)我怎么就攤上這事抡句√讲玻” “怎么了?”我有些...
    開封第一講書人閱讀 169,421評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵待榔,是天一觀的道長(zhǎng)逞壁。 經(jīng)常有香客問(wèn)我,道長(zhǎng)锐锣,這世上最難降的妖魔是什么腌闯? 我笑而不...
    開封第一講書人閱讀 60,114評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮雕憔,結(jié)果婚禮上姿骏,老公的妹妹穿的比我還像新娘。我一直安慰自己斤彼,他們只是感情好分瘦,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,116評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著琉苇,像睡著了一般嘲玫。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上并扇,一...
    開封第一講書人閱讀 52,713評(píng)論 1 312
  • 那天趁冈,我揣著相機(jī)與錄音,去河邊找鬼。 笑死渗勘,一個(gè)胖子當(dāng)著我的面吹牛沐绒,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播旺坠,決...
    沈念sama閱讀 41,170評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼乔遮,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了取刃?” 一聲冷哼從身側(cè)響起蹋肮,我...
    開封第一講書人閱讀 40,116評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎璧疗,沒(méi)想到半個(gè)月后坯辩,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,651評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡崩侠,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,714評(píng)論 3 342
  • 正文 我和宋清朗相戀三年漆魔,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片却音。...
    茶點(diǎn)故事閱讀 40,865評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡改抡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出系瓢,到底是詐尸還是另有隱情阿纤,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布夷陋,位于F島的核電站欠拾,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏骗绕。R本人自食惡果不足惜藐窄,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,211評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望爹谭。 院中可真熱鬧枷邪,春花似錦榛搔、人聲如沸诺凡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)腹泌。三九已至,卻和暖如春尔觉,著一層夾襖步出監(jiān)牢的瞬間凉袱,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留专甩,地道東北人钟鸵。 一個(gè)月前我還...
    沈念sama閱讀 49,299評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像涤躲,于是被迫代替她去往敵國(guó)和親棺耍。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,870評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • 1. CPU vs. GPU 1.1 四種計(jì)算機(jī)模型 GPU設(shè)計(jì)的初衷就是為了減輕CPU計(jì)算的負(fù)載种樱,將一部分圖形計(jì)...
    王偵閱讀 20,931評(píng)論 3 20
  • 1. 簡(jiǎn)介 官網(wǎng)在這里 OpenCL(Open Computing Language)蒙袍,即開放運(yùn)算語(yǔ)言,是一個(gè)統(tǒng)一...
    王偵閱讀 1,874評(píng)論 0 1
  • 研一上學(xué)期上了多核軟件設(shè)計(jì)嫩挤,以及算法設(shè)計(jì)與分析的并行算法部分害幅,其中算法的課程大作業(yè)是要使用MPI,openmp以及...
    AlexanderYau閱讀 3,658評(píng)論 1 13
  • 摘要 深度學(xué)習(xí)可以完成需要高度抽象特征的人工智能任務(wù)岂昭,如語(yǔ)音識(shí)別以现、圖像識(shí)別和檢索、自然語(yǔ)言理解等佩抹。深層模型是包含多...
    藍(lán)鷗科技閱讀 1,291評(píng)論 1 14
  • 1. 簡(jiǎn)介 OpenCL(Open Computing Language)叼风,即開放運(yùn)算語(yǔ)言,是一個(gè)統(tǒng)一的開放式的開...
    ai領(lǐng)域閱讀 6,581評(píng)論 2 5