大數(shù)據(jù)最核心的關(guān)鍵技術(shù)——32個(gè)算法疾党,記得收藏!

奧地利符號(hào)計(jì)算研究所的Christoph Koutschan博士在自己的頁(yè)面上發(fā)布了一篇文章惨奕,提到他做了一個(gè)調(diào)查雪位,參與者大多數(shù)是計(jì)算機(jī)科學(xué)家,他請(qǐng)這些科學(xué)家投票選出最重要的算法梨撞,以下是這次調(diào)查的結(jié)果雹洗,按照英文名稱字母順序排序。


  1卧波、A* 搜索算法—

—圖形搜索算法时肿,從給定起點(diǎn)到給定終點(diǎn)計(jì)算出路徑。其中使用了一種啟發(fā)式的估算港粱,為每個(gè)節(jié)點(diǎn)估算通過(guò)該節(jié)點(diǎn)的最佳路徑螃成,并以之為各個(gè)地點(diǎn)排定次序。算法以得到的次序訪問(wèn)這些節(jié)點(diǎn)查坪。因此锈颗,A*搜索算法是最佳優(yōu)先搜索的范例。


  2咪惠、集束搜索(又名定向搜索击吱,Beam Search)——最佳優(yōu)先搜索算法的優(yōu)化。使用啟發(fā)式函數(shù)評(píng)估它檢查的每個(gè)節(jié)點(diǎn)的能力遥昧。不過(guò)覆醇,集束搜索只能在每個(gè)深度中發(fā)現(xiàn)最前面的m個(gè)最符合條件的節(jié)點(diǎn),m是固定數(shù)字——集束的寬度炭臭。


  3永脓、二分查找(Binary Search)——在線性數(shù)組中找特定值的算法,每個(gè)步驟去掉一半不符合要求的數(shù)據(jù)鞋仍。


  4常摧、分支界定算法(Branch and Bound)——在多種最優(yōu)化問(wèn)題中尋找特定最優(yōu)化解決方案的算法,特別是針對(duì)離散、組合的最優(yōu)化落午。


  5谎懦、Buchberger算法——一種數(shù)學(xué)算法,可將其視為針對(duì)單變量最大公約數(shù)求解的歐幾里得算法和線性系統(tǒng)中高斯消元法的泛化溃斋。


  6界拦、數(shù)據(jù)壓縮——采取特定編碼方案,使用更少的字節(jié)數(shù)(或是其他信息承載單元)對(duì)信息編碼的過(guò)程梗劫,又叫來(lái)源編碼享甸。


  7、Diffie-Hellman密鑰交換算法——一種加密協(xié)議梳侨,允許雙方在事先不了解對(duì)方的情況下蛉威,在不安全的通信信道中,共同建立共享密鑰走哺。該密鑰以后可與一個(gè)對(duì)稱密碼一起瓷翻,加密后續(xù)通訊。


  8割坠、Dijkstra算法——針對(duì)沒有負(fù)值權(quán)重邊的有向圖,計(jì)算其中的單一起點(diǎn)最短算法妒牙。


  9彼哼、離散微分算法(Discrete differentiation)。


  10湘今、動(dòng)態(tài)規(guī)劃算法(Dynamic Programming)——展示互相覆蓋的子問(wèn)題和最優(yōu)子架構(gòu)算法


  11敢朱、歐幾里得算法(Euclidean algorithm)——計(jì)算兩個(gè)整數(shù)的最大公約數(shù)。最古老的算法之一摩瞎,出現(xiàn)在公元前300前歐幾里得的《幾何原本》拴签。


  12、期望-最大算法(Expectation-maximization algorithm旗们,又名EM-Training)——在統(tǒng)計(jì)計(jì)算中蚓哩,期望-最大算法在概率模型中尋找可能性最大的參數(shù)估算值,其中模型依賴于未發(fā)現(xiàn)的潛在變量上渴。EM在兩個(gè)步驟中交替計(jì)算岸梨,第一步是計(jì)算期望,利用對(duì)隱藏變量的現(xiàn)有估計(jì)值稠氮,計(jì)算其最大可能估計(jì)值;第二步是最大化曹阔,最大化在第一步上求得的最大可能值來(lái)計(jì)算參數(shù)的值。


  13隔披、快速傅里葉變換(Fast Fourier transform赃份,F(xiàn)FT)——計(jì)算離散的傅里葉變換(DFT)及其反轉(zhuǎn)。該算法應(yīng)用范圍很廣奢米,從數(shù)字信號(hào)處理到解決偏微分方程抓韩,到快速計(jì)算大整數(shù)乘積纠永。


  14、梯度下降(Gradient descent)——一種數(shù)學(xué)上的最優(yōu)化算法园蝠。


  15渺蒿、哈希算法(Hashing)。


  16彪薛、堆排序(Heaps)茂装。


  17、Karatsuba乘法——需要完成上千位整數(shù)的乘法的系統(tǒng)中使用善延,比如計(jì)算機(jī)代數(shù)系統(tǒng)和大數(shù)程序庫(kù)少态,如果使用長(zhǎng)乘法,速度太慢易遣。該算法發(fā)現(xiàn)于1962年彼妻。


  18、LLL算法(Lenstra-Lenstra-Lovasz lattice reduction)——以格規(guī)約(lattice)基數(shù)為輸入豆茫,輸出短正交向量基數(shù)侨歉。LLL算法在以下公共密鑰加密方法中有大量使用:背包加密系統(tǒng)(knapsack)、有特定設(shè)置的RSA加密等等揩魂。


  19幽邓、最大流量算法(Maximum flow)——該算法試圖從一個(gè)流量網(wǎng)絡(luò)中找到最大的流。它優(yōu)勢(shì)被定義為找到這樣一個(gè)流的值火脉。最大流問(wèn)題可以看作更復(fù)雜的網(wǎng)絡(luò)流問(wèn)題的特定情況牵舵。最大流與網(wǎng)絡(luò)中的界面有關(guān),這就是最大流-最小截定理(Max-flow min-cut theorem)倦挂。Ford-Fulkerson 能找到一個(gè)流網(wǎng)絡(luò)中的最大流畸颅。


  20、合并排序(Merge Sort)方援。


  21没炒、牛頓法(Newton's method)——求非線性方程(組)零點(diǎn)的一種重要的迭代法。


  22犯戏、Q-learning學(xué)習(xí)算法——這是一種通過(guò)學(xué)習(xí)動(dòng)作值函數(shù)(action-value function)完成的強(qiáng)化學(xué)習(xí)算法窥浪,函數(shù)采取在給定狀態(tài)的給定動(dòng)作,并計(jì)算出期望的效用價(jià)值笛丙,在此后遵循固定的策略漾脂。Q-leanring的優(yōu)勢(shì)是,在不需要環(huán)境模型的情況下胚鸯,可以對(duì)比可采納行動(dòng)的期望效用骨稿。


  23、兩次篩法(Quadratic Sieve)——現(xiàn)代整數(shù)因子分解算法,在實(shí)踐中坦冠,是目前已知第二快的此類算法(僅次于數(shù)域篩法Number Field Sieve)形耗。對(duì)于110位以下的十位整數(shù),它仍是最快的辙浑,而且都認(rèn)為它比數(shù)域篩法更簡(jiǎn)單激涤。


  24、RANSAC——是“RANdom SAmple Consensus”的縮寫判呕。該算法根據(jù)一系列觀察得到的數(shù)據(jù)倦踢,數(shù)據(jù)中包含異常值,估算一個(gè)數(shù)學(xué)模型的參數(shù)值侠草。其基本假設(shè)是:數(shù)據(jù)包含非異化值辱挥,也就是能夠通過(guò)某些模型參數(shù)解釋的值,異化值就是那些不符合模型的數(shù)據(jù)點(diǎn)边涕。


  25晤碘、RSA——公鑰加密算法。首個(gè)適用于以簽名作為加密的算法功蜓。RSA在電商行業(yè)中仍大規(guī)模使用园爷,大家也相信它有足夠安全長(zhǎng)度的公鑰。


  26式撼、Sch?nhage-Strassen算法——在數(shù)學(xué)中童社,Sch?nhage-Strassen算法是用來(lái)完成大整數(shù)的乘法的快速漸近算法。其算法復(fù)雜度為:O(N log(N) log(log(N)))端衰,該算法使用了傅里葉變換。


  27甘改、單純型算法(Simplex Algorithm)——在數(shù)學(xué)的優(yōu)化理論中旅东,單純型算法是常用的技術(shù),用來(lái)找到線性規(guī)劃問(wèn)題的數(shù)值解十艾。線性規(guī)劃問(wèn)題包括在一組實(shí)變量上的一系列線性不等式組抵代,以及一個(gè)等待最大化(或最小化)的固定線性函數(shù)。


  28忘嫉、奇異值分解(Singular value decomposition荤牍,簡(jiǎn)稱SVD)——在線性代數(shù)中,SVD是重要的實(shí)數(shù)或復(fù)數(shù)矩陣的分解方法庆冕,在信號(hào)處理和統(tǒng)計(jì)中有多種應(yīng)用康吵,比如計(jì)算矩陣的偽逆矩陣(以求解最小二乘法問(wèn)題)、解決超定線性系統(tǒng)(overdetermined linear systems)访递、矩陣逼近晦嵌、數(shù)值天氣預(yù)報(bào)等等。


  29、求解線性方程組(Solving a system of linear equations)——線性方程組是數(shù)學(xué)中最古老的問(wèn)題惭载,它們有很多應(yīng)用旱函,比如在數(shù)字信號(hào)處理、線性規(guī)劃中的估算和預(yù)測(cè)描滔、數(shù)值分析中的非線性問(wèn)題逼近等等棒妨。求解線性方程組,可以使用高斯—約當(dāng)消去法(Gauss-Jordan elimination)含长,或是柯列斯基分解( Cholesky decomposition)券腔。


  30、Strukturtensor算法——應(yīng)用于模式識(shí)別領(lǐng)域茎芋,為所有像素找出一種計(jì)算方法颅眶,看看該像素是否處于同質(zhì)區(qū)域( homogenous region),看看它是否屬于邊緣田弥,還是是一個(gè)頂點(diǎn)涛酗。


  31、合并查找算法(Union-find)——給定一組元素偷厦,該算法常常用來(lái)把這些元素分為多個(gè)分離的商叹、彼此不重合的組。不相交集(disjoint-set)的數(shù)據(jù)結(jié)構(gòu)可以跟蹤這樣的切分方法只泼。合并查找算法可以在此種數(shù)據(jù)結(jié)構(gòu)上完成兩個(gè)有用的操作:


  查找:判斷某特定元素屬于哪個(gè)組剖笙。


  合并:聯(lián)合或合并兩個(gè)組為一個(gè)組。


  32请唱、維特比算法(Viterbi algorithm)——尋找隱藏狀態(tài)最有可能序列的動(dòng)態(tài)規(guī)劃算法弥咪,這種序列被稱為維特比路徑,其結(jié)果是一系列可以觀察到的事件十绑,特別是在隱藏的Markov模型中聚至。


  以上就是Christoph博士對(duì)于最重要的算法的調(diào)查結(jié)果。你們熟悉哪些算法?又有哪些算法是你們經(jīng)常使用的?

對(duì)大數(shù)據(jù)以及人工智能概念都是模糊不清的本橙,該按照什么線路去學(xué)習(xí)扳躬,學(xué)完往哪方面發(fā)展,想深入了解甚亭,想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)qq群:458345782贷币,有大量干貨(零基礎(chǔ)以及進(jìn)階的經(jīng)典實(shí)戰(zhàn))分享給大家,并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費(fèi)授課亏狰,給大家分享目前國(guó)內(nèi)最完整的大數(shù)據(jù)高端實(shí)戰(zhàn)實(shí)用學(xué)習(xí)流程體系 役纹。從java和linux入手,其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相關(guān)知識(shí)一一分享暇唾!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末字管,一起剝皮案震驚了整個(gè)濱河市啰挪,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌嘲叔,老刑警劉巖亡呵,帶你破解...
    沈念sama閱讀 218,451評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異硫戈,居然都是意外死亡锰什,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,172評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門丁逝,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)汁胆,“玉大人,你說(shuō)我怎么就攤上這事霜幼∧勐耄” “怎么了?”我有些...
    開封第一講書人閱讀 164,782評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵罪既,是天一觀的道長(zhǎng)铸题。 經(jīng)常有香客問(wèn)我,道長(zhǎng)琢感,這世上最難降的妖魔是什么丢间? 我笑而不...
    開封第一講書人閱讀 58,709評(píng)論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮驹针,結(jié)果婚禮上烘挫,老公的妹妹穿的比我還像新娘。我一直安慰自己柬甥,他們只是感情好饮六,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,733評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著苛蒲,像睡著了一般卤橄。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上撤防,一...
    開封第一講書人閱讀 51,578評(píng)論 1 305
  • 那天虽风,我揣著相機(jī)與錄音棒口,去河邊找鬼寄月。 笑死,一個(gè)胖子當(dāng)著我的面吹牛无牵,可吹牛的內(nèi)容都是我干的漾肮。 我是一名探鬼主播,決...
    沈念sama閱讀 40,320評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼茎毁,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼克懊!你這毒婦竟也來(lái)了忱辅?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,241評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤谭溉,失蹤者是張志新(化名)和其女友劉穎墙懂,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體扮念,經(jīng)...
    沈念sama閱讀 45,686評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡损搬,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,878評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了柜与。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片巧勤。...
    茶點(diǎn)故事閱讀 39,992評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖弄匕,靈堂內(nèi)的尸體忽然破棺而出颅悉,到底是詐尸還是另有隱情,我是刑警寧澤迁匠,帶...
    沈念sama閱讀 35,715評(píng)論 5 346
  • 正文 年R本政府宣布剩瓶,位于F島的核電站,受9級(jí)特大地震影響柒瓣,放射性物質(zhì)發(fā)生泄漏儒搭。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,336評(píng)論 3 330
  • 文/蒙蒙 一芙贫、第九天 我趴在偏房一處隱蔽的房頂上張望搂鲫。 院中可真熱鬧,春花似錦磺平、人聲如沸魂仍。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,912評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)擦酌。三九已至,卻和暖如春菠劝,著一層夾襖步出監(jiān)牢的瞬間赊舶,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,040評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工赶诊, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留笼平,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,173評(píng)論 3 370
  • 正文 我出身青樓舔痪,卻偏偏與公主長(zhǎng)得像寓调,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子锄码,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,947評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容