指數(shù)加權(quán)平均數(shù)（Exponentially weighted averages）
我想向你展示幾個(gè)優(yōu)化算法，它們比梯度下降法快伟众，要理解這些算法，你需要用到指數(shù)加權(quán)平均，在統(tǒng)計(jì)中也叫做指數(shù)加權(quán)移動(dòng)平均浮庐，
我們首先講這個(gè)，然后再來講更復(fù)雜的優(yōu)化算法柬焕。
雖然現(xiàn)在恩達(dá)老師生活在美國审残，實(shí)際上恩達(dá)老師生于英國倫敦。比如這兒有去年倫敦的每日溫度击喂，所以1月1號(hào)维苔，溫度是40華氏度，相當(dāng)于4攝氏度懂昂。
世界上大部分地區(qū)使用攝氏度介时，但是美國使用華氏度。在1月2號(hào)是9攝氏度等等凌彬。在年中的時(shí)候沸柔，一年365天，年中就是說铲敛，大概180天的樣子褐澎，也就是5月末，溫度是60華氏度伐蒋，也就是15攝氏度等等工三。夏季溫度轉(zhuǎn)暖迁酸，然后冬季降溫。
你用數(shù)據(jù)作圖俭正，可以得到以下結(jié)果奸鬓，起始日在1月份，這里是夏季初掸读，這里是年末串远，相當(dāng)于12月末。
這里是1月1號(hào)儿惫，年中接近夏季的時(shí)候澡罚，隨后就是年末的數(shù)據(jù)，看起來有些雜亂肾请，如果要計(jì)算趨勢(shì)的話留搔，也就是溫度的局部平均值，或者說移動(dòng)平均值筐喳。
你要做的是催式，首先使v_0=0，每天避归，需要使用0.9的加權(quán)數(shù)之前的數(shù)值加上當(dāng)日溫度的0.1倍荣月，即v_1=0.9v_0+0.1θ_1，所以這里是第一天的溫度值梳毙。
第二天哺窄，又可以獲得一個(gè)加權(quán)平均數(shù)，0.9乘以之前的值加上當(dāng)日的溫度0.1倍账锹，即v_2=0.9v_1+0.1θ_2萌业，以此類推。
第二天值加上第三日數(shù)據(jù)的0.1奸柬，如此往下生年。大體公式就是某天的v等于前一天v值的0.9加上當(dāng)日溫度的0.1。
如此計(jì)算廓奕，然后用紅線作圖的話抱婉，便得到這樣的結(jié)果。
你得到了移動(dòng)平均值桌粉，每日溫度的指數(shù)加權(quán)平均值蒸绩。
看一下上一張幻燈片里的公式，v_t=0.9v_(t-1)+0.1θ_t铃肯，我們把0.9這個(gè)常數(shù)變成β患亿，將之前的0.1變成(1-β)，即v_t=βv_(t-1)+(1-β)θ_t
由于以后我們要考慮的原因押逼，在計(jì)算時(shí)可視v_t大概是1/((1-β))的每日溫度步藕，如果β是0.9惦界，你會(huì)想，這是十天的平均值漱抓，也就是紅線部分表锻。
我們來試試別的，將β設(shè)置為接近1的一個(gè)值乞娄，比如0.98，計(jì)算1/((1-0.98))=50显歧，這就是粗略平均了一下仪或，過去50天的溫度，這時(shí)作圖可以得到綠線士骤。
這個(gè)高值β要注意幾點(diǎn)范删，你得到的曲線要平坦一些，原因在于你多平均了幾天的溫度拷肌，所以這個(gè)曲線到旦，波動(dòng)更小，更加平坦巨缘，缺點(diǎn)是曲線進(jìn)一步右移添忘，因?yàn)楝F(xiàn)在平均的溫度值更多，要平均更多的值若锁，指數(shù)加權(quán)平均公式在溫度變化時(shí)搁骑，適應(yīng)地更緩慢一些，所以會(huì)出現(xiàn)一定延遲又固，因?yàn)楫?dāng)β=0.98仲器，相當(dāng)于給前一天的值加了太多權(quán)重，只有0.02的權(quán)重給了當(dāng)日的值仰冠，所以溫度變化時(shí)乏冀，溫度上下起伏，當(dāng)β 較大時(shí)洋只，指數(shù)加權(quán)平均值適應(yīng)地更緩慢一些辆沦。
我們可以再換一個(gè)值試一試，如果β是另一個(gè)極端值木张，比如說0.5众辨，根據(jù)右邊的公式（1/((1-β))），這是平均了兩天的溫度舷礼。
作圖運(yùn)行后得到黃線鹃彻。
由于僅平均了兩天的溫度，平均的數(shù)據(jù)太少妻献，所以得到的曲線有更多的噪聲蛛株，有可能出現(xiàn)異常值团赁，但是這個(gè)曲線能夠更快適應(yīng)溫度變化。
所以指數(shù)加權(quán)平均數(shù)經(jīng)常被使用谨履，再說一次欢摄，它在統(tǒng)計(jì)學(xué)中被稱為指數(shù)加權(quán)移動(dòng)平均值，我們就簡稱為指數(shù)加權(quán)平均數(shù)笋粟。通過調(diào)整這個(gè)參數(shù)（β）怀挠，或者說后面的算法學(xué)習(xí)，你會(huì)發(fā)現(xiàn)這是一個(gè)很重要的參數(shù)害捕，可以取得稍微不同的效果绿淋，往往中間有某個(gè)值效果最好，β為中間值時(shí)得到的紅色曲線尝盼，比起綠線和黃線更好地平均了溫度吞滞。
現(xiàn)在你知道計(jì)算指數(shù)加權(quán)平均數(shù)的基本原理，下一個(gè)筆記中盾沫，我們?cè)倭牧乃谋举|(zhì)作用裁赠。
