并行計(jì)算(Parallel Computing)是指同時(shí)使用多種計(jì)算資源解決計(jì)算問(wèn)題的過(guò)程创坞,是提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的一種有效手段断凶。它的基本思想是用多個(gè)處理器來(lái)協(xié)同求解同一問(wèn)題,即將被求解的問(wèn)題分解成若干個(gè)部分报腔,各部分均由一個(gè)獨(dú)立的處理機(jī)來(lái)并行計(jì)算株搔。并行計(jì)算系統(tǒng)既可以是專門設(shè)計(jì)的、含有多個(gè)處理器的超級(jí)計(jì)算機(jī)纯蛾,也可以是以某種方式互連的若干臺(tái)的獨(dú)立計(jì)算機(jī)構(gòu)成的集群纤房。通過(guò)并行計(jì)算集群完成數(shù)據(jù)的處理,再將處理的結(jié)果返回給用戶翻诉。
并行計(jì)算或稱平行計(jì)算是相對(duì)于串行計(jì)算來(lái)說(shuō)的炮姨。所謂并行計(jì)算可分為時(shí)間上的并行和空間上的并行捌刮。 時(shí)間上的并行就是指流水線技術(shù),而空間上的并行則是指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算剑令。
并行計(jì)算科學(xué)中主要研究的是空間上的并行問(wèn)題糊啡。從程序和算法設(shè)計(jì)人員的角度來(lái)看,并行計(jì)算又可分為數(shù)據(jù)并行和任務(wù)并行吁津∨镄睿空間上的并行導(dǎo)致了兩類并行機(jī)的產(chǎn)生,按照Flynn的說(shuō)法分為:單指令流多數(shù)據(jù)流(SIMD)和多指令流多數(shù)據(jù)流(MIMD)碍脏。我們常用的串行機(jī)也叫做單指令流單數(shù)據(jù)流(SISD)梭依。
MIMD類的機(jī)器又可分為以下常見的五類:并行向量處理機(jī)(PVP)、對(duì)稱多處理機(jī)(SMP)典尾、大規(guī)模并行處理機(jī)(MPP)役拴、工作站機(jī)群(COW)、分布式共享存儲(chǔ)處理機(jī)(DSM)钾埂。
目前常見的并行編程技術(shù)包括:MPI河闰、OPENMP、OPENCL褥紫、OPENGL姜性、CUDA。下面了解一下這些常見并行編程技術(shù)的基礎(chǔ)概念:
(1)MPI
MPI(Message Passing Interface)是一種廣泛采用的基于消息傳遞的并行編程技術(shù)髓考。MPI消息傳遞接口是一種編程接口標(biāo)準(zhǔn)部念,而不是一種具體的編程語(yǔ)言。簡(jiǎn)而言之氨菇,MPI標(biāo)準(zhǔn)定義了一組具有可移植性的編程接口儡炼。各個(gè)廠商或組織遵循這些標(biāo)準(zhǔn)實(shí)現(xiàn)自己的MPI軟件包,典型的實(shí)現(xiàn)包括開放源代碼的MPICH查蓉、LAM MPI以及不開放源代碼的Intel MPI乌询。由于MPI提供了統(tǒng)一的編程接口,程序員只需要設(shè)計(jì)好并行算法豌研,使用相應(yīng)的MPI庫(kù)就可以實(shí)現(xiàn)基于消息傳遞的并行計(jì)算楣责。MPI支持多種操作系統(tǒng),包括大多數(shù)的類UNIX和Windows系統(tǒng)聂沙。
(2)OPENMP
OpenMP是由OpenMP Architecture Review Board牽頭提出的秆麸,并已被廣泛接受的,用于共享內(nèi)存并行系統(tǒng)的多線程程序設(shè)計(jì)的一套指導(dǎo)性的編譯處理方案(Compiler Directive)及汉。OpenMP支持的編程語(yǔ)言包括C語(yǔ)言沮趣、C++和Fortran;而支持OpenMp的編譯器包括Sun Compiler坷随,GNU Compiler和Intel Compiler等房铭。OpenMp提供了對(duì)并行算法的高層的抽象描述驻龟,程序員通過(guò)在源代碼中加入專用的#pragma來(lái)指明自己的意圖,由此編譯器可以自動(dòng)將程序進(jìn)行并行化缸匪,并在必要之處加入同步互斥以及通信翁狐。當(dāng)選擇忽略這些#pragma,或者編譯器不支持OpenMP時(shí)凌蔬,程序又可退化為通常的程序(一般為串行)露懒,代碼仍然可以正常運(yùn)作,只是不能利用多線程來(lái)加速程序執(zhí)行砂心。
(3)OPENCL
OpenCL(Open Computing Language懈词,開放運(yùn)算語(yǔ)言)是第一個(gè)面向異構(gòu)系統(tǒng)通用目的并行編程的開放式、免費(fèi)標(biāo)準(zhǔn)辩诞,也是一個(gè)統(tǒng)一的編程環(huán)境坎弯,便于軟件開發(fā)人員為高性能計(jì)算服務(wù)器、桌面計(jì)算系統(tǒng)译暂、手持設(shè)備編寫高效輕便的代碼抠忘,而且廣泛適用于多核心處理器(CPU)、圖形處理器(GPU)外永、Cell類型架構(gòu)以及數(shù)字信號(hào)處理器(DSP)等其他并行處理器崎脉,在游戲、娛樂(lè)象迎、科研、醫(yī)療等各種領(lǐng)域都有廣闊的發(fā)展前景呛踊。
OpenCL是一個(gè)為異構(gòu)平臺(tái)編寫程序的框架砾淌,此異構(gòu)平臺(tái)可由CPU,GPU或其他類型的處理器組成谭网。OpenCL由一門用于編寫kernels (在OpenCL設(shè)備上運(yùn)行的函數(shù))的語(yǔ)言(基于C99)和一組用于定義并控制平臺(tái)的API組成汪厨。OpenCL提供了基于任務(wù)分割和數(shù)據(jù)分割的并行計(jì)算機(jī)制。OpenCL類似于另外兩個(gè)開放的工業(yè)標(biāo)準(zhǔn)OpenGL和OpenAL愉择,這兩個(gè)標(biāo)準(zhǔn)分別用于三維圖形和計(jì)算機(jī)音頻方面劫乱。OpenCL擴(kuò)展了GPU用于圖形生成之外的能力。OpenCL由非盈利性技術(shù)組織Khronos Group掌管锥涕。
(4)OPENGL
OpenGL(Open Graphics Library)是個(gè)定義了一個(gè)跨編程語(yǔ)言衷戈、跨平臺(tái)的編程接口規(guī)格的專業(yè)的圖形程序接口。它用于三維圖象(二維的亦可)层坠,是一個(gè)功能強(qiáng)大殖妇,調(diào)用方便的底層圖形庫(kù)。
(5)CUDA
CUDA(Compute Unified Device Architecture)是一種由顯卡廠商N(yùn)VIDIA推出的通用并行計(jì)算架構(gòu)破花,該架構(gòu)使GPU能夠解決復(fù)雜的計(jì)算問(wèn)題谦趣。 它包含了CUDA指令集架構(gòu)(ISA)以及GPU內(nèi)部的并行計(jì)算引擎疲吸。 開發(fā)人員現(xiàn)在可以使用C語(yǔ)言來(lái)為CUDA?架構(gòu)編寫程序,C語(yǔ)言是應(yīng)用最廣泛的一種高級(jí)編程語(yǔ)言前鹅。所編寫出的程序于是就可以在支持CUDA?的處理器上以超高性能運(yùn)行摘悴。CUDA3.0已經(jīng)開始支持C++和FORTRAN。