極限學(xué)習(xí)機(jī)原理
詳見(jiàn)ELM極限學(xué)習(xí)機(jī)--筆記
詳見(jiàn)極限學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)原理詳解和MATLAB實(shí)現(xiàn)
1.創(chuàng)始人：
黃教授微博：
黃廣斌-ELM的微博_微博
文章來(lái)源：
Extreme Learning Machines: Random Neurons, Random Features, Kernels
2.人工智能和機(jī)器學(xué)習(xí)發(fā)展的三次浪潮
機(jī)器學(xué)習(xí)時(shí)代的必要條件：
（1）高效的計(jì)算環(huán)境
（2）豐富多態(tài)的數(shù)據(jù)
（3）高效的學(xué)習(xí)算法
另外機(jī)器學(xué)習(xí)和人工智能幾乎是相伴的惧所，兩者之間的發(fā)展趨勢(shì)如下：
類比于生物神經(jīng)網(wǎng)絡(luò)融蹂，創(chuàng)生了人工神經(jīng)網(wǎng)絡(luò)蚤蔓，在人工神經(jīng)網(wǎng)絡(luò)中，研究者認(rèn)為所有網(wǎng)絡(luò)的隱層神經(jīng)元都需要進(jìn)行不斷的調(diào)整。但是詳細(xì)想生物有那么多的神經(jīng)是每一個(gè)都有必要進(jìn)行調(diào)節(jié)刚操？勇哗？每一個(gè)都被用到了嗎？所以提出了四個(gè)問(wèn)題：
（1）真的有必要花費(fèi)那么多的人力來(lái)尋找這種需要人工調(diào)整隱層參數(shù)的學(xué)習(xí)算法月褥，并應(yīng)用與不同的神經(jīng)網(wǎng)絡(luò)？顯然生物大腦匯中并沒(méi)有調(diào)整參數(shù)的精靈
（2）我們真的需要不同的學(xué)習(xí)算法來(lái)使不同類型的神經(jīng)網(wǎng)絡(luò)可以進(jìn)行特征學(xué)習(xí)瓢喉，聚類宁赤，回歸和分類嗎？
（3）為什么生物大腦比那些繼承人共學(xué)習(xí)算法的機(jī)器更加“高效”和智能栓票？
（4）為什么“一個(gè)不完美的神經(jīng)網(wǎng)絡(luò)决左，它包含很多隨機(jī)連接，卻能穩(wěn)定的執(zhí)行那些需要完美電路才能執(zhí)行的功能走贪？”佛猛、
目錄
極限學(xué)習(xí)機(jī)的MATLAB實(shí)踐
引言
極限學(xué)習(xí)機(jī)不是一個(gè)新的東西，只是在算法（方法）上有新的內(nèi)容坠狡。在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上继找，就是一個(gè)前向傳播的神經(jīng)網(wǎng)絡(luò)，和之前幾篇博文講的意義逃沿。
為什么我們需要ELM婴渡？
The learning speed of feedforward neural networks is in general far slower than required and it has been a major bottleneck in their applications for past decades. Two key reasons behind may be:
the slow gradient-based learning algorithms are extensively used to train neural networks.
all the parameters of the networks are tuned iteratively by using such learning algorithms.
最大的創(chuàng)新點(diǎn)：
1）輸入層和隱含層的連接權(quán)值、隱含層的閾值可以隨機(jī)設(shè)定凯亮，且設(shè)定完后不用再調(diào)整边臼。這和BP神經(jīng)網(wǎng)絡(luò)不一樣，BP需要不斷反向去調(diào)整權(quán)值和閾值触幼。因此這里就能減少一半的運(yùn)算量了硼瓣。
2）隱含層和輸出層之間的連接權(quán)值β不需要迭代調(diào)整，而是通過(guò)解方程組方式一次性確定。
研究表明堂鲤，通過(guò)這樣的規(guī)則亿傅，模型的泛化性能很好，速度提高了不少瘟栖。
一言概之葵擎，ELM最大的特點(diǎn)就是對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)半哟，在保證學(xué)習(xí)精度的前提下比傳統(tǒng)的學(xué)習(xí)算法速度更快酬滤。
Compared BP Algorithm and SVM，ELM has several salient features:
?Ease of use. No parameters need to be manually tuned except predefined network architecture.只有隱含層神經(jīng)元個(gè)數(shù)需要我們調(diào)整寓涨。
?Faster learning speed. Most training can be completed in milliseconds, seconds, and minutes.
?Higher generalization performance. It could obtain better generalization performance than BP in most cases, and reach generalization performance similar to or better than SVM.（泛化能力提升）
?Suitable for almost all nonlinear activation functions.Almost all piecewise continuous (including discontinuous, differential, non-differential functions) can be used as activation functions.
?Suitable for fully complex activation functions. Fully complex functions can also be used as activation functions in ELM.
ELM的作者盯串，黃廣斌老師提供的代碼：http://www.ntu.edu.sg/home/egbhuang/elm_codes.htm
參考博文：https://blog.csdn.net/google19890102/article/details/18222103?utm_source=copy
