本文涉及到數(shù)學公式，基本都是大學課本或者高中課本里的卡睦，有興趣的一起來回憶下宴胧。
傳說一個公式能少一個粉絲，但是那也沒有辦法么翰，神經(jīng)網(wǎng)絡離不開數(shù)學牺汤，有興趣的請堅持看下去，雖然有點無聊浩嫌，但是也許你能了解些新的知識檐迟。
導數(shù)
定義
導數(shù)（Derivative），也叫導函數(shù)值码耐。又名微商追迟，是微積分中的重要基礎概念。當函數(shù)y=f（x）的自變量x在一點x0上產(chǎn)生一個增量Δx時骚腥，函數(shù)輸出值的增量Δy與自變量增量Δx的比值在Δx趨于0時的極限a如果存在敦间，a即為在x0處的導數(shù)，記作f'（x0）或df（x0）/dx束铭。[圖片上傳失敗...(image-105698-1614514943203)]
手動求導數(shù)
導數(shù)公式
求下面的導數(shù):
根據(jù)導數(shù)公式廓块，很容易求的導數(shù)是:
順便說一下： 一個多變量的函數(shù)的偏導數(shù)，就是它關于其中一個變量的導數(shù)而保持其他變量恒定（相對于全導數(shù)契沫，在其中所有變量都允許變化）
lnx的導數(shù)
lnx的導數(shù)是1/x带猴，這個是眾所周知的，但是它是怎么證明的懈万，這里就用到了導數(shù)的定義拴清，下面是詳細的證明過程:復合函數(shù)求導
復合函數(shù)求導公式：設u=g(x)会通，對f(u)求導得：f'(x)=f'(u)g'(x)口予，設u=g(x),a=p(u)，對f(a)求導得：f'(x)=f'(a)p'(u)*g'(x)涕侈。
計算機求導
計算機求導基于的是導數(shù)的定義裳涛。如果要計算x=3, y=4時關于x的f(x,y)的偏導數(shù)木张， 則可以計算f(3+ε,4) - f(3, 4)并將結果除以ε(使用極限的ε值)。這種類型的導數(shù)值稱為極限差分近似调违。
def f(x, y): return x ** 2 * y + y + 2def derivative(f, x, y, x_eps, y_eps): return (f(x + x_eps, y + y_eps) - f(x, y)) / (x_eps + y_eps)df_dx = derivative(f, 3, 4, 0.000001, 0)df_dy = derivative(f, 3, 4, 0, 0.000001)print(df_dx)print(df_dy)
最終的結果: 24.000004003710274 9.99999999606871
按照手動求偏導的結果很接近了窟哺。 公式求偏導的結果是24和10泻轰。這個可以用來做檢驗技肩。
參考
https://www.cnblogs.com/peghoty/p/3857839.html http://www.reibang.com/p/e74eb43960a1 https://baike.baidu.com/item/%E5%AF%BC%E6%95%B0/579188?fr=aladdin https://zhidao.baidu.com/question/524121644.html
寫在最后
導數(shù)還是很重要的，在優(yōu)化算法時候的梯度下降法中的梯度本質(zhì)上就是導數(shù)。
更多內(nèi)容虚婿，歡迎關注我的微信公眾號: 無情劍客旋奢。
