ML訓練營筆記1

7月在線ML特訓營-第三期-第1課時筆記

本課程中的知識點主要是微分學低剔、梯度下降法添怔、概率論基礎(chǔ)续徽、機器學習栗子等

微分學
梯度下降法
概率論基礎(chǔ)
機器學習栗子

數(shù)學在機器學習中的應(yīng)用

模型建立與選擇：對工程問題進行抽象和量化
模型訓練：參數(shù)的選擇和調(diào)參與優(yōu)化過程

微分學

微分學核心思想

微分學的核心思想是函數(shù)逼近：使用熟悉且簡單的函數(shù)對復(fù)雜函數(shù)進行局部逼近畏妖。

實際中的demo：

人均GDP：使用常數(shù)函數(shù)來逼近收入函數(shù)
平均速度：使用線性函數(shù)來逼近實際運行軌跡
年化收益率：使用指數(shù)函數(shù)來逼近收益函數(shù)

常用作逼近的函數(shù)：

線性函數(shù)：函數(shù)的一階導(dǎo)數(shù)
多項式函數(shù)：泰勒級數(shù)

極限論

微分學的基礎(chǔ)是極限論傅瞻。極限的表述為：當 $x—>a$ 時踢代， $f(x)$ 的極限是 $L$ ，即：

$\lim_ {x \to a}f(x)=L$

一般把趨于零的極限稱之為無窮小
兩邊夾定理：如果 $f(x)<g(x)<h(x)$ 在a點出存在極限俭正，那么：

$lim_{x \to a}f(x) \leq lim_{x \to a}g(x)\leq lim_{x \to a}h(x)$

重要的極限
1. 三角函數(shù)
  $lim_{x \to 0}{\frac{sin(x)}x}=1$
2. 自然對數(shù)底數(shù)
  $e=\lim_{n \to \infty}(1+\frac{1}{n})^n$
3. 指數(shù)函數(shù)：
  $lim_{x \to 0} {\frac{e^x-1}{x}}=1$
一階導(dǎo)數(shù)公式 $f^`(x)=lim_{\Delta}\to 0 {\frac{f(x+\Delta)-f(x)}{\Delta}}$ 一般表示為 $dx=\Delta$ 奸鬓，那么
$f^`(x)=lim_{x}\to 0 {\frac{f(x+dx)-f(x)}{dx}}$
二階導(dǎo)數(shù)
1. 導(dǎo)數(shù)的導(dǎo)數(shù)就是二階導(dǎo)數(shù)
2. 泰勒級數(shù)就是利用n階導(dǎo)數(shù)對函數(shù)進行高階逼近
泰勒展開

設(shè)函數(shù) $f(x)$ 在點 ${x_0}$ 處的某鄰域內(nèi)具有 $n+1$ 階導(dǎo)數(shù)，則對該鄰域內(nèi)異于 ${{x}*{0}}$ 的任意點 $x$ 掸读，在 ${{x}*{0}}$ 與 $x$ 之間至少存在一個 $\xi$ ，使得：
$f(x)=f({x_0})+{f}’({x_0})(x-{x_0})+\frac{1}{2!}f''({x_0}){{(x-{x_0})}^{2}}+\cdots+\frac{{{f}^{(n)}}({x_0})}{n!}{{(x-{x_0})}^{n}}+{R_n(x)}$

其中
$R_n(x)=\frac{{{f}^{(n+1)}}(\xi )}{(n+1)!}{{(x-{x_0})}^{n+1}}$
稱為 $f(x)$ 在點 $x_0$ 處的 $n$ 階泰勒余項宏多。

令 ${x_0}=0$ 儿惫，則 $n$ 階泰勒公式
$f(x)=f(0)+{f}'(0)x+\frac{1}{2!}{f}''(0){{x}^{2}}+\cdots +\frac{{{f}^{(n)}}(0)}{n!}{{x}^{n}}+{R_n(x)}$
其中
${R_n(x)}=\frac{{{f}^{(n+1)}}(\xi )}{(n+1)!}{{x}^{n+1}}$
$\xi$ 在0與 $x$ 之間.(1)式稱為麥克勞林公式

常用5種函數(shù)在 ${{x}_{0}}=0$ 處的泰勒公式
- (1)
${{{e}}^{x}}=1+x+\frac{1}{2!}{{x}^{2}}+\cdots +\frac{1}{n!}{{x}^{n}}+\frac{{{x}^{n+1}}}{(n+1)!}{{e}^{\xi }}$

或者表示為

$e^x=1+x+\frac{1}{2!}{{x}^{2}}+\cdots +\frac{1}{n!}{{x}^{n}}+o({{x}^{n}})$

? (2)
$sin(x)=x-\frac{1}{3!}{{x}^{3}}+\cdots +\frac{{{x}^{n}}}{n!}\sin \frac{n\pi }{2}+\frac{{{x}^{n+1}}}{(n+1)!}\sin (\xi +\frac{n+1}{2}\pi )$
或表示為：
$sin(x)=x-\frac{1}{3!}{{x}^{3}}+\cdots +\frac{{{x}^{n}}}{n!}\sin \frac{n\pi }{2}+o({{x}^{n}})$
? (3)
$\cos x=1-\frac{1}{2!}{{x}^{2}}+\cdots +\frac{{{x}^{n}}}{n!}\cos \frac{n\pi }{2}+\frac{{{x}^{n+1}}}{(n+1)!}\cos (\xi +\frac{n+1}{2}\pi )$
或表示為：
$cox(x)=1-\frac{1}{2!}{{x}^{2}}+\cdots +\frac{{{x}^{n}}}{n!}\cos \frac{n\pi }{2}+o({{x}^{n}})$
? (4)

$\ln (1+x)=x-\frac{1}{2}{{x}^{2}}+\frac{1}{3}{{x}^{3}}-\cdots +{{(-1)}^{n-1}}\frac{{{x}^{n}}}{n}+\frac{{{(-1)}^{n}}{{x}^{n+1}}}{(n+1){{(1+\xi )}^{n+1}}}$
或表示為：
$ln(1+x)=x-\frac{1}{2}{{x}^{2}}+\frac{1}{3}{{x}^{3}}-\cdots +{{(-1)}^{n-1}}\frac{{{x}^{n}}}{n}+o({{x}^{n}})$
? (5)
${{(1+x)}^{m}}=1+mx+\frac{m(m-1)\cdots (m-n+1)}{n!}{{x}^{n}}+\frac{m(m-1)\cdots (m-n+1)}{(n+1)!}{{x}^{n+1}}{{(1+\xi )}^{m-n-1}}$
或表示為：
${{(1+x)}^{m}}=1+mx+\frac{m(m-1)}{2!}{{x}^{2}}+\cdots+\frac{m(m-1)\cdots (m-n+1)}{n!}{{x}^{n}}+o({{x}^{n}})$

隨機梯度下降法

梯度基礎(chǔ)

梯度

對于可微函數(shù)f(x,y)，梯度定義為：

$\bigtriangledown f(x,y)=(\alpha_{x}{f}, \alpha_{y}{f})^T$

梯度方向就是函數(shù)增長最快的方向伸但；反方向就是減小最快的方向

梯度下降法

(1). 如果 $J(\theta)$ 是一個多元函數(shù)肾请，在 $\theta_0$ 處對 $J(\theta)$ 做線性逼近：
$J(\theta_0+\bigtriangleup_{\theta})=J(\theta_0)+\bigtriangleup^T_{\theta}\cdot \bigtriangledown J(\theta_0)+o(|\bigtriangleup_\theta|)$
(2). 通過學習率 $\eta$ 來表示梯度走下去的方向
$\theta_n=\theta_(n-1) \cdot \eta_(n-1)\bigtriangledown J(\theta_{(n-1)}$
(3). 本質(zhì)：對函數(shù)進行一階逼近尋找函數(shù)下降最快的方向

牛頓法

本質(zhì)：對函數(shù)進行二階逼近，并估計函數(shù)的極小值點

困難點
1. 梯度的計算：樣本量過大更胖，梯度計算非常耗時
2. 學習率的選擇：太小到時算法收斂太慢铛铁；過大導(dǎo)致算法不收斂

隨機梯度下降法

隨機梯度下降法是為了解決梯度的計算問題，梯度下降法的分類：

批梯度下降GD
隨機梯度下降SGD
小批量隨機梯度下降Mini Batch SGD

優(yōu)化算法

動量算法
Adgrad(自動調(diào)整學習率)
Adamdelta
Adam

概率論

基礎(chǔ)點

1.事件的關(guān)系與運算

(1) 子事件： $A \subset B$ 却妨，若 $A$ 發(fā)生饵逐，則 $B$ 發(fā)生。

(2) 相等事件： $A = B$ 彪标，即 $A \subset B$ 倍权，且 $B \subset A$ 。

(3) 和事件： $A\bigcup B$ （或 $A + B$ ）捞烟， $A$ 與 $B$ 中至少有一個發(fā)生薄声。

(4) 差事件： $A - B$ 当船， $A$ 發(fā)生但 $B$ 不發(fā)生。

(5) 積事件： $A\bigcap B$ （或 ${AB}$ ）默辨， $A$ 與 $B$ 同時發(fā)生德频。

(6) 互斥事件（互不相容）： $A\bigcap B$ = $\varnothing$ 。

(7) 互逆事件（對立事件）： $A\bigcap B=\varnothing ,A\bigcup B=\Omega ,A=\bar{B},B=\bar{A}$

2.運算律

(1) 交換律： $A\bigcup B=B\bigcup A,A\bigcap B=B\bigcap A$

(2) 結(jié)合律： $(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)$

(3) 分配律： $(A\bigcap B)\bigcap C=A\bigcap (B\bigcap C)$

概率公式

(1)條件概率: $P(B|A)=\frac{P(AB)}{P(A)}$ ,表示 $A$ 發(fā)生的條件下缩幸， $B$ 發(fā)生的概率抱婉。

(2)全概率公式：
$P(A)=\sum\limits_{i=1}^{n}{P(A|{{B}*{i}})P({{B}*{i}}),{{B}*{i}}{{B}*{j}}}=\varnothing ,i\ne j,\underset{i=1}{\overset{n}{\mathop{\bigcup }}},{{B}_{i}}=\Omega$
(3) Bayes公式：
$P({{B}*{j}}|A)=\frac{P(A|{{B}*{j}})P({{B}*{j}})}{\sum\limits*{i=1}^{n}{P(A|{{B}*{i}})P({{B}*{i}})}},j=1,2,\cdots ,n$
注：上述公式中事件 ${{B}*{i}}$ 的個數(shù)可為可列個。

(4)乘法公式：
$P({{A}*{1}}{{A}*{2}})=P({{A}*{1}})P({{A}*{2}}|{{A}*{1}})=P({{A}*{2}})P({{A}*{1}}|{{A}*{2}})$

$P({{A}*{1}}{{A}*{2}}\cdots {{A}*{n}})=P({{A}*{1}})P({{A}*{2}}|{{A}*{1}})P({{A}*{3}}|{{A}*{1}}{{A}*{2}})\cdots P({{A}*{n}}|{{A}*{1}}{{A}*{2}}\cdots {{A}*{n-1}})?$

(5)聯(lián)合概率

給定Y先發(fā)生桌粉，X再發(fā)生的概率
$P(XY)=P(Y)P(Y|X)$
$P(Y|X)=\frac{P(XY)}{P(X)}$

(6) 貝葉斯公式

$P(XY)=P(X|Y)*P(Y)=P(Y|X)*P(X)$

$P(Y|X)=\frac{P(X|Y)*P(Y)}{P(X)}$

P(Y|X) 后驗概率
P(Y) 先驗概率

假設(shè)含有sex的郵件是垃圾郵件的概率是 $P(Y=spam|X=sex)$ , Y是垃圾郵件的概率是0.9蒸绩；假設(shè)垃圾郵件出出現(xiàn)sex的概率是1%，正常郵件中出現(xiàn)sex的概率是0.1%铃肯，求出 $P=(Y=spam|X=sex)=P(X=sex|Y=spam)*P(Y=span)/P(X=sex)$

(7)生成模型和判別模型

生成模型：

樸素貝葉斯
隱馬爾科夫

判別模型：

邏輯回歸
支持向量機
條件隨機場

(8). 常見分布

(1) 0-1分布: $P(X = k) = p^{k}{(1 - p)}^{1 - k},k = 0,1$

(2) 二項分布: $B(n,p)$ ： $P(X = k) = C_{n}^{k}p^{k}{(1 - p)}^{n - k},k =0,1,\cdots,n$

(3) Poisson分布: $p(\lambda)$ ： $P(X = k) = \frac{\lambda^{k}}{k!}e^{-\lambda},\lambda > 0,k = 0,1,2\cdots$

(4) 均勻分布 $U(a,b)$ ：
$f(n)= \begin{cases} \frac {1}{b-a}, & \text a\leq n \leq b \\ 0, \text else \end{cases}$
(5) 正態(tài)分布: $N(\mu,\sigma^{2}):$
$\varphi(x) =\frac{1}{\sqrt{2\pi}\sigma}e^{- \frac{{(x - \mu)}^{2}}{2\sigma^{2}}},\sigma > 0,\infty < x < + \infty$

(6)指數(shù)分布:
$f(x) = \begin{cases} \lambda e^{- \lambda x}, \text x\geq 0 \\ 0 , \text x \leq 0 \end{cases}$
(7)幾何分布:
$G(p):P(X = k) = {(1 - p)}^{k - 1}p,0 < p < 1,k = 1,2,\cdots$
(8)超幾何分布:
$H(N,M,n):P(X = k) = \frac{C_{M}^{k}C_{N - M}^{n -k}}{C_{N}^{n}},k =0,1,\cdots,min(n,M)$

期望患亿、方差、協(xié)方差和相關(guān)系數(shù)

基礎(chǔ)知識點

期望

$E[X]=x_1p_1+...+x_np_n$
$E[X+Y]=E[X]+E[Y]$ 押逼；
如果XY獨立步藕，那么 $E[XY]=E[X]*E[Y]$

方差

$Var[X]=(x_1-u)^2p_1+...+(x_n-u)^2p_n$
$Var[X]=E[(X-u)^2]$
$Var[X]=E[X^2]-E[X]^2$
$Var[X+a]=Var[X];Var[aX]=a^2Var[X]$

協(xié)方差

$Cov(X,Y) = E\left\lbrack (X - E(X)(Y - E(Y)) \right\rbrack=E[XY]-E[X]E[Y]$

相關(guān)系數(shù)

$\rho_{{XY}} = \frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$ , $k$ 階原點矩 $E(X^{k})$ ;

幾個性質(zhì)：

(1) $\ Cov(X,Y) = Cov(Y,X)$

(2) $\ Cov(aX,bY) = abCov(Y,X)$

(3) $\ Cov(X_{1} + X_{2},Y) = Cov(X_{1},Y) + Cov(X_{2},Y)$

(4) $\ \left| \rho\left( X,Y \right) \right| \leq 1$

(5) $\ \rho\left( X,Y \right) = 1 \Leftrightarrow P\left( Y = aX + b \right) = 1$ ，其中 $a > 0$

$\rho\left( X,Y \right) = - 1 \Leftrightarrow P\left( Y = aX + b \right) = 1$ 挑格，其中 $a < 0$

常見分布的期望和方差

概率分布有兩種型別：離散（discrete）概率分布和連續(xù)（continuous）概率分布咙冗。

離散概率分布也稱為概率質(zhì)量函式（probability mass function）。離散概率分布的例子有

伯努利分布（Bernoulli distribution）
二項分布（binomial distribution）
泊松分布（Poisson distribution）
幾何分布（geometric distribution）

連續(xù)概率分布也稱為概率密度函式（probability density function）漂彤，它們是具有連續(xù)取值（例如一條實線上的值）的函式雾消。常見的有：

正態(tài)分布（normal distribution）
指數(shù)分布（exponential distribution）
β分布（beta distribution）

MHe5Uf.png

機器學習實例

查全率、查準率和 $F1$

定義

對于二分類問題挫望，可將樣本實例根據(jù)真實類別（真假）和學習器預(yù)測得到的類別（正反）的組合分為四種：

真正例 true positive,TP
假正例 false positive,FP
真反例 true negative,TN
假反例 false negative,FN

分類結(jié)果的混淆矩陣如下：

真實情況	預(yù)測結(jié)果
	正例	反例
真	TP（真正）	FN（假反）
假	FP（假正）	TN（真反）

查準率P和查全率R分別定義為：

$P=\frac {TP}{TP+FP}$

$R=\frac {TP}{TP+FN}$

注意：查準率和查全率是一對矛盾的度量立润。

F1是基于P和R的調(diào)和平均值：

$\frac {1}{F1}=\frac{1}{2}(\frac{1}{P}+\frac{1}{R})=\frac{2PR}{P+R}$

應(yīng)用demo

查全率recall：逃犯信息檢索系統(tǒng)中，希望盡可能少的漏掉逃犯

查準率precision：推薦系統(tǒng)中媳板，為了盡可能少的打擾客戶桑腮，希望推薦的內(nèi)容是用戶感興趣的。

ROC和AUC

ROC（Reciver Operation Characteristic）全稱是“受試者工作特征”曲線蛉幸。曲線橫破讨、縱坐標為：

橫軸：FPR
縱軸：TPR

$TPR=\frac {TP}{TP+FN}$

$FPR=\frac {FP}{TN+FP}$

AUC（Area Under ROC Curve）：指的是RUC曲線下面的面積。

樸素貝葉斯

樸素貝葉斯的公式

$P(Y|X_1,X_2,…,X_n)=\frac{P(X_1,X_2,…,X_p|Y)P(Y)}{P(X_,X_2,…,X_p)}=\frac{{P(X_1|Y)}{P(X_2)|Y…{P(X_p|Y)}}P(Y)}{P(X_1,X_2,…,X_p)}$

中間表示的是貝葉斯公式奕纫；后面的假設(shè)表示每個X是相互獨立的

決策樹

主要算法有：ID3提陶、C4.5、CART

各種熵

信息熵： $H(D)=-\sum_{y=k}^{K}p_k·log(p_k)$
聯(lián)合熵： $H(X,Y)=-\sum_{x,y}p(x,y)\log p(x,y)$
條件熵：條件熵=聯(lián)合熵-熵 $H(Y|X)=H(X,Y)-H(X)$ $H(D|f)=\sum_{v\epsilon V_f}\frac{|D_v|}{|D|}H(D_v)$
信息增益： $Gain(D,f)=H(D)-H(D|f)$
交叉熵： $H(p,q)=-\sum_x p(x)\log q(x)$
KL散度（相對熵）=交叉熵-熵 $D_{KL}(p||q)=H(p,q)-H(p)$

學習收獲

今天花了4個多小時學習和整理第一課時的兩個視頻若锁，學習的同時也復(fù)習了很多基本知識搁骑，包含：

高數(shù)
微積分
概率論與統(tǒng)計

此外自己也了解了不同的機器學習算法在實際中的不同應(yīng)用常景。打好基礎(chǔ)，繼續(xù)前進仲器！

待改進點

需要進一步改進的地方：

概率論落下的知識蠻多的煤率，需要好好補充
對算法的理解需要提高，實際編碼的能力有待提升
對于在本課程中提到的隨機梯度下降算法需要好好掌握乏冀！

本節(jié)課主要注重的是理論基礎(chǔ)知識蝶糯，希望有更多的例子和實戰(zhàn)相結(jié)合！加油吧?

M7NTtH.png

本文為原創(chuàng)辆沦，轉(zhuǎn)載請注明昼捍！

最后編輯于：2019.11.23 16:33:08

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市肢扯，隨后出現(xiàn)的幾起案子妒茬，更是在濱河造成了極大的恐慌，老刑警劉巖蔚晨，帶你破解...
沈念sama閱讀 218,607評論 6贊 507
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件乍钻，死亡現(xiàn)場離奇詭異，居然都是意外死亡铭腕，警方通過查閱死者的電腦和手機银择，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,239評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來累舷，“玉大人浩考，你說我怎么就攤上這事”挥” “怎么了析孽？”我有些...
開封第一講書人閱讀 164,960評論 0贊 355
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長害捕。經(jīng)常有香客問我绿淋，道長，這世上最難降的妖魔是什么尝盼？我笑而不...
開封第一講書人閱讀 58,750評論 1贊 294
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮佑菩，結(jié)果婚禮上盾沫，老公的妹妹穿的比我還像新娘。我一直安慰自己殿漠，他們只是感情好赴精，可當我...
茶點故事閱讀 67,764評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著绞幌，像睡著了一般蕾哟。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,604評論 1贊 305
城市分裂傳說
那天谭确，我揣著相機與錄音帘营，去河邊找鬼。笑死逐哈，一個胖子當著我的面吹牛芬迄，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播昂秃，決...
沈念sama閱讀 40,347評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼禀梳，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了肠骆？” 一聲冷哼從身側(cè)響起算途，我...
開封第一講書人閱讀 39,253評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎蚀腿，沒想到半個月后嘴瓤，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,702評論 1贊 315
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡唯咬，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,893評論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年纱注，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片胆胰。...
茶點故事閱讀 40,015評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡狞贱，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出蜀涨，到底是詐尸還是另有隱情瞎嬉，我是刑警寧澤，帶...
沈念sama閱讀 35,734評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布厚柳，位于F島的核電站氧枣，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏别垮。R本人自食惡果不足惜便监，卻給世界環(huán)境...
茶點故事閱讀 41,352評論 3贊 330
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望碳想。院中可真熱鬧烧董，春花似錦、人聲如沸胧奔。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,934評論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽龙填。三九已至胳泉，卻和暖如春拐叉，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背扇商。一陣腳步聲響...
開封第一講書人閱讀 33,052評論 1贊 270
情欲美人皮
我被黑心中介騙來泰國打工凤瘦，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人钳吟。一個月前我還...
沈念sama閱讀 48,216評論 3贊 371
代替公主和親
正文我出身青樓廷粒，卻偏偏與公主長得像，于是被迫代替她去往敵國和親红且。傳聞我的和親對象是個殘疾皇子坝茎，可洞房花燭夜當晚...
茶點故事閱讀 44,969評論 2贊 355

ML訓練營筆記1

數(shù)學在機器學習中的應(yīng)用

微分學

微分學核心思想

極限論

隨機梯度下降法

梯度基礎(chǔ)

隨機梯度下降法

優(yōu)化算法

概率論

基礎(chǔ)點

概率公式

期望患亿、方差、協(xié)方差和相關(guān)系數(shù)

基礎(chǔ)知識點

常見分布的期望和方差

機器學習實例

查全率、查準率和

樸素貝葉斯

決策樹

學習收獲

待改進點

推薦閱讀更多精彩內(nèi)容

查全率、查準率和 $F1$