概率統(tǒng)計
（1）極大似然思想
（2）貝葉斯模型
（3）隱變量混合概率模型雁歌，EM思想
基礎(chǔ)的典型分布：正態(tài)（高斯）分布宏浩。
大數(shù)定律：在試驗不變的條件下，重復(fù)試驗多次靠瞎，隨機事件的頻率近似于它的概率比庄。偶然中包含著某種必然。
大數(shù)定律證明了隨機現(xiàn)象的“頻率穩(wěn)定性”乏盐。
中心定律：獨立隨機變量標(biāo)準(zhǔn)化和的極限分布是正態(tài)分布佳窑。
貝葉斯公式：有一個待分類的樣本，計算出這個樣本發(fā)生的條件下父能，各個分類發(fā)生的概率神凑。哪個概率最大，就說明這個樣本屬于那個分類。
泊松分布：每隔一段時間內(nèi)時間發(fā)生的概率，分布圖類似正態(tài)分布。
指數(shù)分布：事件發(fā)生時間間隔長短的概率瓢颅≈淞郑可能性越來越小。
蒙特卡羅方法:計算方法。原理是通過大量隨機樣本，去了解一個系統(tǒng)，進而得到所要計算的值洪橘。（模擬車子，交通問題）
假設(shè)檢驗：判斷樣本與樣本趴酣，樣本與總體的差異是由抽樣誤差引起還是本質(zhì)差別造成的統(tǒng)計推斷方法梨树。其基本原理是先對總體的特征作出某種假設(shè)，然后通過抽樣研究的統(tǒng)計推理岖寞，對此假設(shè)應(yīng)該被拒絕還是接受作出推斷抡四。
最大似然估計：在“模型已定，參數(shù)θ未知”的情況下仗谆，通過觀測數(shù)據(jù)估計未知參數(shù)θ 的一種思想或方法指巡。尋找使得觀測到樣本數(shù)據(jù)的可能性最大。
- 寫出似然函數(shù)隶垮；
- 對似然函數(shù)取對數(shù)藻雪；
- 兩邊同時求導(dǎo)數(shù)；
- 令導(dǎo)數(shù)為0解出似然方程狸吞。
微積分
主要體現(xiàn)在極值問題 與 （條件）最優(yōu)化問題
偏導(dǎo)數(shù)勉耀，梯度這兩個概念必須深入人心
還有就是凸優(yōu)化和條件最優(yōu)化問題，這個是理解SVM蹋偏，或者線性回歸等等模型正則化的基礎(chǔ)便斥。
牛頓萊布尼茨：一個連續(xù)函數(shù)在某區(qū)間的定積分=原函數(shù)在該區(qū)間的增量
Lagrange乘子法：在約束條件下求極值的方法。把約束條件乘以λ（即不定乘子）后加到待求函數(shù)上的求極值方法
批量梯度下降法每次迭代時都會計算訓(xùn)練集中所有的數(shù)據(jù)威始，而隨機梯度下降法每次迭代只是隨機取了訓(xùn)練集中的一部分樣本數(shù)據(jù)進行梯度計算枢纠。
牛頓（迭代）法：在選擇方向時，不僅會考慮坡度是否夠大黎棠，還會考慮你走了一步之后晋渺，坡度是否會變得更大。
離散數(shù)學(xué)
偏序：自反脓斩，反對稱木西，傳遞
擬序：反自反，反對稱随静，傳遞
全序：自反户魏，反對稱，傳遞挪挤，任意兩個元素可以比較
良序：任意優(yōu)先全序集是良序
等價：自反叼丑，對稱，傳遞
同態(tài)：σ(ab)=σ(a)’σ(b)
同構(gòu)：σ是雙射
半群：可結(jié)合的二元運算的集合
群：關(guān)于半群扛门，每個元素的關(guān)于該運算都是可逆的
群同態(tài)：把集合換成了群
線性代數(shù)
矩陣：是一個表格鸠信，行數(shù)可以不等于列數(shù)
行列式：是一個數(shù)，行數(shù)=列數(shù)
解線性方程組：盡可能將矩陣中的數(shù)字轉(zhuǎn)化為0论寨。
高斯消元：每一次先選擇兩行星立，再將這兩行開始消元，于是每一次消元需要枚舉每一個矩陣中的變量葬凳，所以就是O(n^2*m)绰垂，是立方級的。
n階矩陣可以對角化的必要條件是有n個線性無關(guān)的特征向量火焰。
實對稱矩陣一定可以對角化劲装。
淺談協(xié)方差矩陣
協(xié)方差就是這樣一種用來度量兩個隨機變量關(guān)系的統(tǒng)計量
實對稱矩陣的對角化
對于任意矩陣：
部分奇異值分解：
數(shù)論 算法
P類問題就是能夠以多項式時間的確定性算法來對問題進行判定或求解
NP問題是指可以用多項式時間的非確定性算法來判定或求解，即這類問題求解的算法大多是非確定性的昌简，但時間復(fù)雜度有可能是多項式級別的占业。
NP完全問題：它是NP問題中最難的問題，其中任何一個問題至今都沒有找到多項式時間的算法纯赎。
實數(shù)域R上（或復(fù)數(shù)C上）的向量空間中谦疾，如果集合S中任兩點的連線上的點都在S內(nèi)，則稱集合S為凸集犬金。
如果一個函數(shù)是凸函數(shù)念恍，則其局部最優(yōu)點就是它的全局最優(yōu)點。
