并行計(jì)算（Parallel Computing）是指同時(shí)使用多種計(jì)算資源解決計(jì)算問(wèn)題的過(guò)程创坞，是提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的一種有效手段断凶。它的基本思想是用多個(gè)處理器來(lái)協(xié)同求解同一問(wèn)題，即將被求解的問(wèn)題分解成若干個(gè)部分报腔，各部分均由一個(gè)獨(dú)立的處理機(jī)來(lái)并行計(jì)算株搔。并行計(jì)算系統(tǒng)既可以是專門設(shè)計(jì)的、含有多個(gè)處理器的超級(jí)計(jì)算機(jī)纯蛾，也可以是以某種方式互連的若干臺(tái)的獨(dú)立計(jì)算機(jī)構(gòu)成的集群纤房。通過(guò)并行計(jì)算集群完成數(shù)據(jù)的處理，再將處理的結(jié)果返回給用戶翻诉。
并行計(jì)算或稱平行計(jì)算是相對(duì)于串行計(jì)算來(lái)說(shuō)的炮姨。所謂并行計(jì)算可分為時(shí)間上的并行和空間上的并行捌刮。 時(shí)間上的并行就是指流水線技術(shù)，而空間上的并行則是指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算剑令。
并行計(jì)算科學(xué)中主要研究的是空間上的并行問(wèn)題糊啡。從程序和算法設(shè)計(jì)人員的角度來(lái)看，并行計(jì)算又可分為數(shù)據(jù)并行和任務(wù)并行吁津∨镄睿空間上的并行導(dǎo)致了兩類并行機(jī)的產(chǎn)生，按照Flynn的說(shuō)法分為：單指令流多數(shù)據(jù)流（SIMD）和多指令流多數(shù)據(jù)流（MIMD）碍脏。我們常用的串行機(jī)也叫做單指令流單數(shù)據(jù)流（SISD）梭依。
MIMD類的機(jī)器又可分為以下常見的五類：并行向量處理機(jī)（PVP）、對(duì)稱多處理機(jī)（SMP）典尾、大規(guī)模并行處理機(jī)（MPP）役拴、工作站機(jī)群（COW）、分布式共享存儲(chǔ)處理機(jī)（DSM）钾埂。
目前常見的并行編程技術(shù)包括：MPI河闰、OPENMP、OPENCL褥紫、OPENGL姜性、CUDA。下面了解一下這些常見并行編程技術(shù)的基礎(chǔ)概念：
（1）MPI
MPI（Message Passing Interface）是一種廣泛采用的基于消息傳遞的并行編程技術(shù)髓考。MPI消息傳遞接口是一種編程接口標(biāo)準(zhǔn)部念，而不是一種具體的編程語(yǔ)言。簡(jiǎn)而言之氨菇，MPI標(biāo)準(zhǔn)定義了一組具有可移植性的編程接口儡炼。各個(gè)廠商或組織遵循這些標(biāo)準(zhǔn)實(shí)現(xiàn)自己的MPI軟件包，典型的實(shí)現(xiàn)包括開放源代碼的MPICH查蓉、LAM MPI以及不開放源代碼的Intel MPI乌询。由于MPI提供了統(tǒng)一的編程接口，程序員只需要設(shè)計(jì)好并行算法豌研，使用相應(yīng)的MPI庫(kù)就可以實(shí)現(xiàn)基于消息傳遞的并行計(jì)算楣责。MPI支持多種操作系統(tǒng)，包括大多數(shù)的類UNIX和Windows系統(tǒng)聂沙。
（2）OPENMP
OpenMP是由OpenMP Architecture Review Board牽頭提出的秆麸，并已被廣泛接受的，用于共享內(nèi)存并行系統(tǒng)的多線程程序設(shè)計(jì)的一套指導(dǎo)性的編譯處理方案（Compiler Directive）及汉。OpenMP支持的編程語(yǔ)言包括C語(yǔ)言沮趣、C++和Fortran；而支持OpenMp的編譯器包括Sun Compiler坷随，GNU Compiler和Intel Compiler等房铭。OpenMp提供了對(duì)并行算法的高層的抽象描述驻龟，程序員通過(guò)在源代碼中加入專用的#pragma來(lái)指明自己的意圖，由此編譯器可以自動(dòng)將程序進(jìn)行并行化缸匪，并在必要之處加入同步互斥以及通信翁狐。當(dāng)選擇忽略這些#pragma，或者編譯器不支持OpenMP時(shí)凌蔬，程序又可退化為通常的程序（一般為串行）露懒，代碼仍然可以正常運(yùn)作，只是不能利用多線程來(lái)加速程序執(zhí)行砂心。
（3）OPENCL
OpenCL（Open Computing Language懈词，開放運(yùn)算語(yǔ)言）是第一個(gè)面向異構(gòu)系統(tǒng)通用目的并行編程的開放式、免費(fèi)標(biāo)準(zhǔn)辩诞，也是一個(gè)統(tǒng)一的編程環(huán)境坎弯，便于軟件開發(fā)人員為高性能計(jì)算服務(wù)器、桌面計(jì)算系統(tǒng)译暂、手持設(shè)備編寫高效輕便的代碼抠忘，而且廣泛適用于多核心處理器（CPU）、圖形處理器（GPU）外永、Cell類型架構(gòu)以及數(shù)字信號(hào)處理器（DSP）等其他并行處理器崎脉，在游戲、娛樂(lè)象迎、科研、醫(yī)療等各種領(lǐng)域都有廣闊的發(fā)展前景呛踊。
OpenCL是一個(gè)為異構(gòu)平臺(tái)編寫程序的框架砾淌，此異構(gòu)平臺(tái)可由CPU，GPU或其他類型的處理器組成谭网。OpenCL由一門用于編寫kernels （在OpenCL設(shè)備上運(yùn)行的函數(shù)）的語(yǔ)言（基于C99）和一組用于定義并控制平臺(tái)的API組成汪厨。OpenCL提供了基于任務(wù)分割和數(shù)據(jù)分割的并行計(jì)算機(jī)制。OpenCL類似于另外兩個(gè)開放的工業(yè)標(biāo)準(zhǔn)OpenGL和OpenAL愉择，這兩個(gè)標(biāo)準(zhǔn)分別用于三維圖形和計(jì)算機(jī)音頻方面劫乱。OpenCL擴(kuò)展了GPU用于圖形生成之外的能力。OpenCL由非盈利性技術(shù)組織Khronos Group掌管锥涕。
（4）OPENGL
OpenGL（Open Graphics Library）是個(gè)定義了一個(gè)跨編程語(yǔ)言衷戈、跨平臺(tái)的編程接口規(guī)格的專業(yè)的圖形程序接口。它用于三維圖象（二維的亦可）层坠，是一個(gè)功能強(qiáng)大殖妇，調(diào)用方便的底層圖形庫(kù)。
（5）CUDA
CUDA(Compute Unified Device Architecture)是一種由顯卡廠商N(yùn)VIDIA推出的通用并行計(jì)算架構(gòu)破花，該架構(gòu)使GPU能夠解決復(fù)雜的計(jì)算問(wèn)題谦趣。 它包含了CUDA指令集架構(gòu)（ISA）以及GPU內(nèi)部的并行計(jì)算引擎疲吸。 開發(fā)人員現(xiàn)在可以使用C語(yǔ)言來(lái)為CUDA?架構(gòu)編寫程序，C語(yǔ)言是應(yīng)用最廣泛的一種高級(jí)編程語(yǔ)言前鹅。所編寫出的程序于是就可以在支持CUDA?的處理器上以超高性能運(yùn)行摘悴。CUDA3.0已經(jīng)開始支持C++和FORTRAN。
