機器學習筆記----導數(shù)

(參考百度百科)

導數(shù)定義:

設(shè)函數(shù)y=f(x)在點x0的某個鄰域內(nèi)有定義,當自變量x在x0處有增量Δx捅儒,(x0+Δx)也在該鄰域內(nèi)時,相應地函數(shù)取得增量Δy=f(x0+Δx)-f(x0);如果Δy與Δx之比當Δx→0時極限存在殴泰,則稱函數(shù)y=f(x)在點x0處可導,并稱這個極限為函數(shù)y=f(x)在點x0處的導數(shù)記作


導函數(shù):

如果函數(shù)y=f(x)在開區(qū)間內(nèi)每一點都可導浮驳,就稱函數(shù)f(x)在區(qū)間內(nèi)可導悍汛。這時函數(shù)y=f(x)對于區(qū)間內(nèi)的每一個確定的x值,都對應著一個確定的導數(shù)值至会,這就構(gòu)成一個新的函數(shù)离咐,稱這個函數(shù)為原來函數(shù)y=f(x)的導函數(shù),記作y'、f'(x)宵蛀、dy/dx或df(x)/dx昆著,簡稱導數(shù)。

幾何意義:

函數(shù)y=f(x)在x0點的導數(shù)f'(x0)的幾何意義:表示函數(shù)曲線在點P0(x0,f(x0))處的切線的斜率(導數(shù)的幾何意義是該函數(shù)曲線在這一點上的切線斜率)术陶。

偏導數(shù):

偏導數(shù)的表示符號為:?凑懂。

x方向的偏導

設(shè)有二元函數(shù) z=f(x,y) ,點(x0,y0)是其定義域D 內(nèi)一點梧宫。把 y 固定在 y0而讓 x 在 x0?有增量 △x 接谨,相應地函數(shù) z=f(x,y) 有增量(稱為對 x 的偏增量)△z=f(x0+△x,y0)-f(x0,y0)。

如果 △z 與 △x 之比當 △x→0 時的極限存在祟敛,那么此極限值稱為函數(shù) z=f(x,y) 在 (x0,y0)處對 x 的偏導數(shù)疤坝,記作 f'x(x0,y0)或。函數(shù) z=f(x,y) 在(x0,y0)處對 x 的偏導數(shù)馆铁,實際上就是把 y 固定在 y0看成常數(shù)后跑揉,一元函數(shù)z=f(x,y0)在 x0處的導數(shù)。

y方向的偏導

同樣埠巨,把 x 固定在 x0历谍,讓 y 有增量 △y ,如果極限存在那么此極限稱為函數(shù) z=(x,y) 在 (x0,y0)處對 y 的偏導數(shù)辣垒。記作f'y(x0,y0)望侈。

幾何意義:

表示固定面上一點的切線斜率

偏導數(shù) f'x(x0,y0) 表示固定面上一點對 x 軸的切線斜率勋桶;偏導數(shù) f'y(x0,y0) 表示固定面上一點對 y 軸的切線斜率

高階導數(shù):

一階導數(shù)的導數(shù)稱為二階導數(shù)脱衙,二階以上的導數(shù)可由歸納法逐階定義。二階和二階以上的導數(shù)統(tǒng)稱為高階導數(shù)例驹。

y = f(x)的導數(shù) y = f'(x)仍是 x 的函數(shù)捐韩,通常把導函數(shù)y=f'(x) 的導數(shù)叫做函數(shù)的二階導數(shù),記作:f''(x),y"? 即

或者寫成:

類似地鹃锈,二階導數(shù)的導數(shù)叫做三階導數(shù)荤胁,三階導數(shù)的導數(shù)叫做四階導數(shù)…… . 一般地,n-1階導數(shù)的導數(shù)叫做 n 階導數(shù)屎债,即


分別記作:


或者寫為:


二階及二階以上的導數(shù)統(tǒng)稱為高階導數(shù)仅政。

高階導數(shù)的計算法則:

1. u(x),v(x)和的n階導數(shù)

設(shè)函數(shù)u(x),v(x)在點x都具有n階導數(shù),則有:



2??u(x),v(x)積的n階導數(shù) (萊布尼茲公式):

設(shè)函數(shù)u(x),v(x)在點x都具有n階導數(shù):則有



復合函數(shù)及鏈式法則:

鏈式法則是求復合函數(shù)的導數(shù)(偏導數(shù))的法則盆驹。

從一元函數(shù)出發(fā)圆丹,設(shè)?x 是實數(shù),f 和 g?是從實數(shù)映射到實數(shù)的函數(shù)躯喇。假設(shè) y=g(x)运褪,且 u=f(g(x))=f(y),即?u 是 x?的符合函數(shù)。是指


這個結(jié)論可推廣到任意有限個函數(shù)復合到情形秸讹,于是復合函數(shù)的導數(shù)將是構(gòu)成復合這有限個函數(shù)在相應點的 導數(shù)的乘積檀咙,就像鎖鏈一樣一環(huán)套一環(huán),故稱鏈式法則璃诀。

多元函數(shù)的鏈式法則:

若多元函數(shù) u=g(y1,y2,...,ym) 在點 ??=(b1,b2,...,bm) 處可微弧可,bi=fi(a1,a2,...,an)(i=1,2,...,m),每個函數(shù) fi(x1,x2,...,xn) 在點 (a1,a2,...,an) 處都可微劣欢,則函數(shù) u=g(f1(x1,x2,...,xn)棕诵,f2(x1,x2,...,xn),...,fm(x1,x2,...,xn)) 也在(a1,a2,...,an) 處可微,且


這就是多元函數(shù)的鏈式法則凿将,若同時考察一組(p 個)復合函數(shù) u1,u2,...,up校套,其中 uk=gk(fi(x1,x2,...,xn),f2(x1,x2,...,xn),...,fm(x1,x2,...,xn))(k=1,2,...,p),將它們的偏導數(shù)寫成矩陣(雅可比矩陣)牧抵,則可以看到鏈式法則在形式上更有規(guī)律性笛匙,這時

若對于上面考察的這些函數(shù),令 ??=(g1,g2,...,gp)犀变,??=(f1,f2,...,fm)妹孙,于是,?? 是 p 維向量值函數(shù)(定義與 ??m?的子集上)获枝,?? 是 m 維向量值函數(shù)(定義于??n?的子集上)蠢正,按照定義,它們的導數(shù)是相應的雅可比矩陣省店,


等式右端為兩矩陣??‘ (?? (??)) 與??‘ (??) 的矩陣乘積)嚣崭,其中??=(a1,a2,...,an).這就是向量值函數(shù)的鏈式法則,它在形式上與一元函數(shù)的鏈式法則完全相同


函數(shù)的凹凸性:

中國數(shù)學界關(guān)于函數(shù)凹凸性定義和國外很多定義是反的懦傍。國內(nèi)教材中的凹凸有鹿,是指曲線,而不是指函數(shù)谎脯,圖像的凹凸與直觀感受一致,卻與函數(shù)的凹凸性相反持寄。只要記住“函數(shù)的凹凸性與曲線的凹凸性相反”就不會把概念搞亂了

定義:如果定義在某一區(qū)間上的一元實函數(shù)是連續(xù)函數(shù)源梭,且對這一區(qū)間中的任何兩點X1、X2稍味,當X1<X2 時废麻,有不等式

其中q1、q2為正數(shù)模庐,q1+q2=1烛愧,這時,我們把函數(shù)f(x)叫做凹函數(shù),或叫做下凸函數(shù)怜姿。

如果把上述條件中的“≥”改成“>”慎冤,則叫做嚴格凹函數(shù),或叫做嚴格下凸函數(shù)沧卢。

如果y=f(x)是(嚴格)凹函數(shù)蚁堤,那么它的圖象是(嚴格)凹曲線,或叫做(嚴格)下凸曲線但狭。

如果一元實函數(shù)f(x)在某區(qū)間二階可導披诗,那么這一函數(shù)為凹函數(shù)的充要條件是在這一區(qū)間上恒有f‘’(x)≤0(對于嚴格凹函數(shù),只要改成f‘’(x)<0就可以了)立磁。

設(shè)函數(shù)f(x)在定義域內(nèi)連續(xù)可導且滿足f''(x)>0呈队;設(shè)x1

因ax1+(1-a)x2-x1=(1-a)(x2-x1)>0;

則x1

根據(jù)拉格朗日中值定理唱歧。

必存在x1<μ< ax1+(1-a)x2宪摧;

使f[ax1+(1-a)x2]-f(x1)= (1-a)(x2-x1)f'(μ);

同理迈喉。

存在ax1+(1-a)x2<ξ

使f(x2)- f[ax1+(1-a)x2]= a(x2-x1)f'(ξ)绍刮;

故a{f[ax1+(1-a)x2]-f(x1)}- (1-a){f(x2)- f[ax1+(1-a)x2]}=a (1-a)(x2-x1)[f’(μ)- f’(ξ)];

根據(jù)拉格朗日中值定理挨摸。

有μ<δ<ξ孩革;

f'(μ)- f'(ξ)=(μ-ξ)f''(δ);

因f''(x)>0得运;

則f'(μ)- f'(ξ)<0膝蜈;

則a{f[ax1+(1-a)x2]-f(x1)}- (1-a){f(x2)- f[ax1+(1-a)x2]}<0;

整理后得f[ax1+(1-a)x2]

同理熔掺,若f''(x)≤0饱搏,則結(jié)果相反 。

即若f''(x)≤0置逻,則f[ax1+(1-a)x2]≥af(x1)+(1-a)f(x2)推沸;滿足凹函數(shù)的定義。

證明完畢券坞;


泰勒公式:

泰勒公式是一個用函數(shù)在某點的信息描述其附近取值的公式鬓催。如果函數(shù)足夠平滑的話,在已知函數(shù)在某一點的各階導數(shù)值的情況之下恨锚,泰勒公式可以用這些導數(shù)值做系數(shù)構(gòu)建一個多項式來近似函數(shù)在這一點的鄰域中的值宇驾。泰勒公式還給出了這個多項式和實際的函數(shù)值之間的偏差。

若函數(shù)f(x)在包含x0的某個閉區(qū)間[a,b]上具有n階導數(shù)猴伶,且在開區(qū)間(a,b)上具有(n+1)階導數(shù)课舍,則對閉區(qū)間[a,b]上任意一點x塌西,成立下式:


其中,

表示f(x)的n階導數(shù)筝尾,等號后的多項式稱為函數(shù)f(x)在x0處的泰勒展開式捡需,剩余的Rn(x)是泰勒公式的余項,是(x-x0)n的高階無窮小

實際應用中忿等,泰勒公式需要截斷栖忠,只取有限項,一個函數(shù)的有限項的泰勒級數(shù)叫做泰勒展開式贸街。泰勒公式的余項可以用于估算這種近似的誤差庵寞。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市薛匪,隨后出現(xiàn)的幾起案子捐川,更是在濱河造成了極大的恐慌,老刑警劉巖逸尖,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件古沥,死亡現(xiàn)場離奇詭異,居然都是意外死亡娇跟,警方通過查閱死者的電腦和手機岩齿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來苞俘,“玉大人盹沈,你說我怎么就攤上這事〕砸ィ” “怎么了乞封?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長岗憋。 經(jīng)常有香客問我肃晚,道長,這世上最難降的妖魔是什么仔戈? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任关串,我火速辦了婚禮,結(jié)果婚禮上监徘,老公的妹妹穿的比我還像新娘晋修。我一直安慰自己,他們只是感情好耐量,可當我...
    茶點故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著滤港,像睡著了一般廊蜒。 火紅的嫁衣襯著肌膚如雪趴拧。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天山叮,我揣著相機與錄音著榴,去河邊找鬼。 笑死屁倔,一個胖子當著我的面吹牛脑又,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播锐借,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼问麸,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了钞翔?” 一聲冷哼從身側(cè)響起严卖,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎布轿,沒想到半個月后哮笆,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡汰扭,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年稠肘,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片萝毛。...
    茶點故事閱讀 38,064評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡项阴,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出珊泳,到底是詐尸還是另有隱情鲁冯,我是刑警寧澤,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布色查,位于F島的核電站薯演,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏秧了。R本人自食惡果不足惜跨扮,卻給世界環(huán)境...
    茶點故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望验毡。 院中可真熱鬧衡创,春花似錦、人聲如沸晶通。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽狮辽。三九已至一也,卻和暖如春巢寡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背椰苟。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工抑月, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人舆蝴。 一個月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓谦絮,卻偏偏與公主長得像,于是被迫代替她去往敵國和親洁仗。 傳聞我的和親對象是個殘疾皇子层皱,可洞房花燭夜當晚...
    茶點故事閱讀 42,802評論 2 345

推薦閱讀更多精彩內(nèi)容

  • C語言的學習要從基礎(chǔ)開始,這里是100個經(jīng)典的算法-1C語言的學習要從基礎(chǔ)開始京痢,這里是100個經(jīng)典的 算法 題目:...
    Poison_19ce閱讀 1,124評論 0 0
  • 來源: http://www.douban.com/group/topic/14820131/ 調(diào)整變量格式: f...
    MC1229閱讀 6,907評論 0 5
  • 凸集和凸函數(shù)的定義: 凸集: 數(shù)學定義:集合X 屬于R^n(即其中的元素x有n維奶甘,每維都在R實數(shù)空間)如果X是凸集...
    dlongry閱讀 3,149評論 0 0
  • (轉(zhuǎn)自http://www.douban.com/group/topic/14820131/,轉(zhuǎn)自人大論壇) 調(diào)整...
    f382b3d9bdb3閱讀 10,256評論 0 8
  • 最后一天祭椰,似乎是要寫我的搭檔臭家。 我的搭檔堅持寫作,每天方淤。寫作的時候似乎進入很自由的流動狀態(tài)钉赁。 能夠流暢的寫出很多腦...
    吉光片羽_f970閱讀 101評論 0 0