大數(shù)據(jù)最核心的關(guān)鍵技術(shù)——32個算法,記得收藏肴焊!

奧地利符號計算研究所的Christoph Koutschan博士在自己的頁面上發(fā)布了一篇文章前联,提到他做了一個調(diào)查,參與者大多數(shù)是計算機科學(xué)家娶眷,他請這些科學(xué)家投票選出最重要的算法似嗤,以下是這次調(diào)查的結(jié)果,按照英文名稱字母順序排序届宠。

1烁落、A* 搜索算法—

圖形搜索算法——從給定起點到給定終點計算出路徑。其中使用了一種啟發(fā)式的估算豌注,為每個節(jié)點估算通過該節(jié)點的最佳路徑伤塌,并以之為各個地點排定次序。算法以得到的次序訪問這些節(jié)點轧铁。因此每聪,A*搜索算法是最佳優(yōu)先搜索的范例。

2、集束搜索——最佳優(yōu)先搜索算法的優(yōu)化药薯。使用啟發(fā)式函數(shù)評估它檢查的每個節(jié)點的能力绑洛。不過,集束搜索只能在每個深度中發(fā)現(xiàn)最前面的m個最符合條件的節(jié)點童本,m是固定數(shù)字——集束的寬度真屯。

3、二分查找——在線性數(shù)組中找特定值的算法巾陕,每個步驟去掉一半不符合要求的數(shù)據(jù)讨跟。

4纪他、分支界定算法——在多種最優(yōu)化問題中尋找特定最優(yōu)化解決方案的算法鄙煤,特別是針對離散、組合的最優(yōu)化茶袒。

5梯刚、Buchberger算法——一種數(shù)學(xué)算法亡资,可將其視為針對單變量最大公約數(shù)求解的歐幾里得算法和線性系統(tǒng)中高斯消元法的泛化锥腻。

6母谎、數(shù)據(jù)壓縮——采取特定編碼方案,使用更少的字節(jié)數(shù)(或是其他信息承載單元)對信息編碼的過程幸斥,又叫來源編碼甲葬。

7懈贺、Diffie-Hellman密鑰交換算法——一種加密協(xié)議,允許雙方在事先不了解對方的情況下钠至,在不安全的通信信道中棉钧,共同建立共享密鑰涕蚤。該密鑰以后可與一個對稱密碼一起的诵,加密后續(xù)通訊西疤。

8代赁、Dijkstra算法——針對沒有負值權(quán)重邊的有向圖兽掰,計算其中的單一起點最短算法。

9窖壕、離散微分算法瞻讽。

10熏挎、動態(tài)規(guī)劃算法——展示互相覆蓋的子問題和最優(yōu)子架構(gòu)算法

11、歐幾里得算法——計算兩個整數(shù)的最大公約數(shù)烦磁。

12个初、期望-最大算法——在統(tǒng)計計算中猴蹂,期望-最大算法在概率模型中尋找可能性最大的參數(shù)估算值,其中模型依賴于未發(fā)現(xiàn)的潛在變量珍逸。EM在兩個步驟中交替計算谆膳,第一步是計算期望撮躁,利用對隱藏變量的現(xiàn)有估計值,計算其最大可能估計值;第二步是最大化漓穿,最大化在第一步上求得的最大可能值來計算參數(shù)的值注盈。

13、快速傅里葉變換——計算離散的傅里葉變換(DFT)及其反轉(zhuǎn)僚饭。該算法應(yīng)用范圍很廣鳍鸵,從數(shù)字信號處理到解決偏微分方程朴则,到快速計算大整數(shù)乘積钓简。

14外邓、梯度下降——一種數(shù)學(xué)上的最優(yōu)化算法。

15侦啸、哈希算法光涂。

16拧烦、堆排序。

17齐佳、Karatsuba乘法——需要完成上千位整數(shù)的乘法的系統(tǒng)中使用炼吴,比如計算機代數(shù)系統(tǒng)和大數(shù)程序庫疫衩,如果使用長乘法,速度太慢童芹。

18、LLL算法——以格規(guī)約(lattice)基數(shù)為輸入饲宛,輸出短正交向量基數(shù)嗜价。LLL算法在以下公共密鑰加密方法中有大量使用:背包加密系統(tǒng)(knapsack)、有特定設(shè)置的RSA加密等等家淤。

19絮重、最大流量算法——該算法試圖從一個流量網(wǎng)絡(luò)中找到最大的流。它優(yōu)勢被定義為找到這樣一個流的值青伤。最大流問題可以看作更復(fù)雜的網(wǎng)絡(luò)流問題的特定情況狠角。最大流與網(wǎng)絡(luò)中的界面有關(guān)蚪腋,這就是最大流-最小截定理(Max-flow min-cut theorem)。Ford-Fulkerson 能找到一個流網(wǎng)絡(luò)中的最大流立帖。

20悠砚、合并排序。

21宵蕉、牛頓法——求非線性方程(組)零點的一種重要的迭代法节榜。

22、Q-learning學(xué)習算法——這是一種通過學(xué)習動作值函數(shù)(action-value function)完成的強化學(xué)習算法稼稿,函數(shù)采取在給定狀態(tài)的給定動作,并計算出期望的效用價值敞恋,在此后遵循固定的策略谋右。Q-leanring的優(yōu)勢是在不需要環(huán)境模型的情況下替裆,可以對比可采納行動的期望效用辈挂。

23、兩次篩法——現(xiàn)代整數(shù)因子分解算法蜂林,在實踐中拇泣,是目前已知第二快的此類算法(僅次于數(shù)域篩法Number Field Sieve)挫酿。對于110位以下的十位整數(shù)愕难,它仍是最快的,而且都認為它比數(shù)域篩法更簡單葱弟。

24猜丹、RANSAC——是“RANdom SAmple Consensus”的縮寫。該算法根據(jù)一系列觀察得到的數(shù)據(jù)藏杖,數(shù)據(jù)中包含異常值脉顿,估算一個數(shù)學(xué)模型的參數(shù)值艾疟。其基本假設(shè)是:數(shù)據(jù)包含非異化值敢辩,也就是能夠通過某些模型參數(shù)解釋的值戚长,異化值就是那些不符合模型的數(shù)據(jù)點同廉。

25、RSA——公鑰加密算法恤溶。首個適用于以簽名作為加密的算法咒程。

26讼育、Sch?nhage-Strassen算法——在數(shù)學(xué)中,Sch?nhage-Strassen算法是用來完成大整數(shù)的乘法的快速漸近算法饥瓷。其算法復(fù)雜度為:O(N log(N) log(log(N)))呢铆,該算法使用了傅里葉變換蹲缠。

27、單純型算法——在數(shù)學(xué)的優(yōu)化理論中线定,單純型算法是常用的技術(shù)斤讥,用來找到線性規(guī)劃問題的數(shù)值解。線性規(guī)劃問題包括在一組實變量上的一系列線性不等式組派草,以及一個等待最大化(或最小化)的固定線性函數(shù)近迁。

28蛉艾、奇異值分解(簡稱SVD)——在線性代數(shù)中衷敌,SVD是重要的實數(shù)或復(fù)數(shù)矩陣的分解方法缴罗,在信號處理和統(tǒng)計中有多種應(yīng)用面氓,比如計算矩陣的偽逆矩陣(以求解最小二乘法問題)蛆橡、解決超定線性系統(tǒng)(overdetermined linear systems)、矩陣逼近呻拌、數(shù)值天氣預(yù)報等等藐握。

29垃喊、求解線性方程組——線性方程組是數(shù)學(xué)中最古老的問題本谜,比如在數(shù)字信號處理乌助、線性規(guī)劃中的估算和預(yù)測眷茁、數(shù)值分析中的非線性問題逼近等等。求解線性方程組上祈,可以使用高斯—約當消去法(Gauss-Jordan elimination)登刺,或是柯列斯基分解( Cholesky decomposition)纸俭。

30揍很、Strukturtensor算法——應(yīng)用于模式識別領(lǐng)域郎楼,為所有像素找出一種計算方法呜袁,看看該像素是否處于同質(zhì)區(qū)域( homogenous region)阶界,看看它是否屬于邊緣聋庵,還是是一個頂點祭玉。

31、合并查找算法——給定一組元素屯耸,該算法常常用來把這些元素分為多個分離的疗绣、彼此不重合的組多矮。不相交集(disjoint-set)的數(shù)據(jù)結(jié)構(gòu)可以跟蹤這樣的切分方法塔逃。合并查找算法可以在此種數(shù)據(jù)結(jié)構(gòu)上完成兩個有用的操作:

查找:判斷某特定元素屬于哪個組料仗。

合并:聯(lián)合或合并兩個組為一個組立轧。

32氛改、維特比算法(Viterbi algorithm)——尋找隱藏狀態(tài)最有可能序列的動態(tài)規(guī)劃算法胜卤,這種序列被稱為維特比路徑疆导,其結(jié)果是一系列可以觀察到的事件,特別是在隱藏的Markov模型中葛躏。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末澈段,一起剝皮案震驚了整個濱河市悠菜,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌败富,老刑警劉巖悔醋,帶你破解...
    沈念sama閱讀 210,978評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異囤耳,居然都是意外死亡篙顺,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,954評論 2 384
  • 文/潘曉璐 我一進店門充择,熙熙樓的掌柜王于貴愁眉苦臉地迎上來德玫,“玉大人宰僧,你說我怎么就攤上這事。” “怎么了晒屎?”我有些...
    開封第一講書人閱讀 156,623評論 0 345
  • 文/不壞的土叔 我叫張陵骇吭,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么蕴潦? 我笑而不...
    開封第一講書人閱讀 56,324評論 1 282
  • 正文 為了忘掉前任僧诚,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘边败。我一直安慰自己登疗,他們只是感情好匾寝,可當我...
    茶點故事閱讀 65,390評論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著乔外,像睡著了一般。 火紅的嫁衣襯著肌膚如雪差购。 梳的紋絲不亂的頭發(fā)上稳析,一...
    開封第一講書人閱讀 49,741評論 1 289
  • 那天裕菠,我揣著相機與錄音,去河邊找鬼掘剪。 笑死匾鸥,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 38,892評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼烫止!你這毒婦竟也來了期升?” 一聲冷哼從身側(cè)響起容为,我...
    開封第一講書人閱讀 37,655評論 0 266
  • 序言:老撾萬榮一對情侶失蹤盒犹,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體悍募,經(jīng)...
    沈念sama閱讀 44,104評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年优烧,在試婚紗的時候發(fā)現(xiàn)自己被綠了杖刷。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,569評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖栏渺,靈堂內(nèi)的尸體忽然破棺而出滞磺,到底是詐尸還是另有隱情责语,我是刑警寧澤,帶...
    沈念sama閱讀 34,254評論 4 328
  • 正文 年R本政府宣布由蘑,位于F島的核電站爷狈,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏惶我。R本人自食惡果不足惜启涯,卻給世界環(huán)境...
    茶點故事閱讀 39,834評論 3 312
  • 文/蒙蒙 一黎做、第九天 我趴在偏房一處隱蔽的房頂上張望鸣峭。 院中可真熱鬧莫换,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,725評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至遍膜,卻和暖如春碗硬,著一層夾襖步出監(jiān)牢的瞬間瓤湘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,950評論 1 264
  • 我被黑心中介騙來泰國打工恩尾, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留弛说,地道東北人。 一個月前我還...
    沈念sama閱讀 46,260評論 2 360
  • 正文 我出身青樓翰意,卻偏偏與公主長得像木人,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子冀偶,可洞房花燭夜當晚...
    茶點故事閱讀 43,446評論 2 348

推薦閱讀更多精彩內(nèi)容