基于視頻：七月算法-深度學(xué)習(xí)課程-5月-第一課：機(jī)器學(xué)習(xí)中的數(shù)學(xué)
https://www.youtube.com/watch?v=T0WrSQixuxU&list=PLwTxjmW4U1YSsLZ5OKd67KxtoSdJKAFgE
一匀泊、微積分重點(diǎn)
1、梯度：多元函數(shù)的一階導(dǎo)數(shù)朵你，對(duì)各元分別求導(dǎo)各聘。一元函數(shù)的時(shí)候就是一階導(dǎo)數(shù)。
2撬呢、海森矩陣：多元函數(shù)的二階導(dǎo)數(shù)伦吠。
3、二次型：XTAX ，形式對(duì)稱毛仪，用矩陣的形式表示一個(gè)多項(xiàng)式搁嗓。
比如：
二次型的重要特點(diǎn)：
4、泰勒級(jí)數(shù)
平衡點(diǎn)：即局部的極值點(diǎn)箱靴。
鞍點(diǎn)：這一點(diǎn)的一階腺逛、二階導(dǎo)數(shù)都等于0矗积。
一階導(dǎo)數(shù)等于0的點(diǎn)：有可能是：（1）極小值點(diǎn)（二階導(dǎo)數(shù)大于0） （2）極大值點(diǎn)（二階導(dǎo)數(shù)小于0）（3）鞍點(diǎn)（二階導(dǎo)數(shù)等于0）———>其實(shí)可以通過(guò)畫圖來(lái)理解的伦糯。
（1）泰勒級(jí)數(shù)的展開(kāi)（標(biāo)量）：
極值點(diǎn)：一階導(dǎo)數(shù)等于0
（2）泰勒級(jí)數(shù)的展開(kāi)（矢量）：
極值點(diǎn)：梯度等于0。
此時(shí)乳蛾，多元函數(shù)的二階導(dǎo)數(shù)大于零表示海森矩陣的特征根都大于零抛杨。（正定：矩陣的特征值都大于0）
5够委、梯度下降法
求極值點(diǎn)時(shí)，求解一階導(dǎo)數(shù)等于零的方程怖现，通常比較難解茁帽。
向量的內(nèi)積：aTb = ||a||2*||b||2*cos(theta)。theta為函數(shù)梯度方向屈嗤，函數(shù)最快上升潘拨。theta為函數(shù)負(fù)梯度方向，函數(shù)最快下降饶号。
優(yōu)化的核心：方向（負(fù)梯度）铁追，步長(zhǎng)。
牛頓法：考慮到二階導(dǎo)數(shù)茫船。
二琅束、概率論重點(diǎn)
1、隨機(jī)函數(shù)的表現(xiàn)形式：
（1）分布函數(shù)：離散變量
（2）累積分布函數(shù)：連續(xù)變量? 對(duì)概率密度函數(shù)求積分
（3）概率密度函數(shù)：連續(xù)變量 對(duì)累積分布函數(shù)求導(dǎo)
2透硝、高斯分布：
3狰闪、貝葉斯公式：（非常重要）
貝葉斯公式的小練習(xí)：方法：直接帶入貝葉斯公式。（吸毒|呈陽(yáng)性——>呈陽(yáng)性|吸毒）
P（結(jié)果呈陽(yáng)性）：后驗(yàn)概率
三濒生、矩陣重點(diǎn)
1、特征值與特征向量：
2幔欧、對(duì)稱矩陣的對(duì)角化：（機(jī)器學(xué)習(xí)中的樣本的協(xié)方差都是對(duì)稱矩陣）
對(duì)稱矩陣的特征值一定是實(shí)數(shù)罪治。
3、PCA特征分解：
（1）PCA的本質(zhì)：就是協(xié)方差矩陣的相似對(duì)角化
（2）PCA的推導(dǎo)過(guò)程：
(3)PCA的舉例：
四礁蔗、凸優(yōu)化重點(diǎn)
1觉义、一般約束優(yōu)化問(wèn)題：
2、KKT條件：非常重要
