淺談機(jī)器學(xué)習(xí)

machinelearning.jpg

前言

借這篇文章談一談機(jī)器學(xué)習(xí)蔫巩，通過(guò)自上而下的方式去構(gòu)建整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)髓梅，盡可能做到深入淺出褒脯，集中展現(xiàn)機(jī)器學(xué)習(xí)構(gòu)建的方法論追他，提供了一些數(shù)學(xué)直覺(jué)和行業(yè)動(dòng)態(tài)坟募。

1.機(jī)器學(xué)習(xí)是什么？

通過(guò)機(jī)器構(gòu)造一個(gè)系統(tǒng)能自動(dòng)地從數(shù)據(jù)中蒸餾出知識(shí)和推理

2.機(jī)器學(xué)習(xí)的分類(lèi)

按學(xué)習(xí)范式分：

監(jiān)督學(xué)習(xí)：通過(guò)標(biāo)注信息學(xué)習(xí)邑狸，目前廣泛應(yīng)用于文本懈糯，語(yǔ)音，圖像等擁有龐大數(shù)據(jù)集的場(chǎng)景单雾，依賴(lài)人工標(biāo)記赚哗，耗時(shí)耗力，無(wú)法保證人工標(biāo)注的準(zhǔn)確性硅堆。

強(qiáng)化學(xué)習(xí)：透過(guò)獎(jiǎng)懲機(jī)制學(xué)習(xí)屿储，讓機(jī)器在場(chǎng)景中不斷試錯(cuò)，累積經(jīng)驗(yàn)來(lái)學(xué)習(xí)渐逃，適用于游戲等虛擬場(chǎng)景够掠，能快速積累足夠的樣本空間，并實(shí)時(shí)獲得反饋,學(xué)習(xí)效率低下茄菊，不易收斂疯潭。

自監(jiān)督學(xué)習(xí)：是克服以上兩種學(xué)習(xí)范式中的問(wèn)題的解決方案之一，透過(guò)預(yù)測(cè)來(lái)認(rèn)識(shí)世界面殖，類(lèi)似人類(lèi)學(xué)習(xí)過(guò)程竖哩，不斷通過(guò)已知部分預(yù)測(cè)未知，目前是一個(gè)前沿課題脊僚。例如預(yù)測(cè)到車(chē)子可能會(huì)撞到前方路障就提前進(jìn)行規(guī)避動(dòng)作相叁，不需要人工標(biāo)注路障需要避開(kāi)，更不需要試錯(cuò)去累積經(jīng)驗(yàn)吃挑。

無(wú)監(jiān)督學(xué)習(xí)：專(zhuān)注于數(shù)據(jù)的自身結(jié)構(gòu)钝荡，學(xué)習(xí)數(shù)據(jù)的表示和分布；用于數(shù)據(jù)的降維舶衬，編碼埠通，與生成。

按建模方式分：

判別模型是直接基于后驗(yàn)條件概率進(jìn)行建模逛犹，而生成模型是對(duì)聯(lián)合分布進(jìn)行建模端辱；生成模型可以推到判別后驗(yàn)式子梁剔，但判別模型卻無(wú)法推斷出聯(lián)合分布。

3.如何構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)舞蔽？

3.1機(jī)器學(xué)習(xí)系統(tǒng)組件

數(shù)據(jù)荣病、模型、策略渗柿，算法

數(shù)據(jù)

數(shù)學(xué)載體：向量為主个盆，也包括矩陣，張量朵栖，稀疏矩陣颊亮，稀疏張量等杆煞；

包含的操作：清洗塌忽，編碼，歸一化感帅，標(biāo)準(zhǔn)化门扇，白化雹有，以及相應(yīng)的線(xiàn)性代數(shù)操作(包括旋轉(zhuǎn)，投影臼寄，等)

模型

數(shù)學(xué)載體：在監(jiān)督學(xué)習(xí)中霸奕，模型為參數(shù)化的函數(shù)（函數(shù)族）和條件概率分布（分布族）；

函數(shù)和條件概率分布均可在判別式模型中充當(dāng)決策器（或者預(yù)測(cè)器）的角色脯厨，比如感知機(jī)铅祸，邏輯斯蒂回歸，支持向量機(jī)等合武；但在生成模型中临梗，需要用概率論的語(yǔ)言來(lái)描述模型，比如樸素貝葉斯稼跳，高斯混合模型（GMM)盟庞，隱馬爾科(HMM）等。

包含的操作：函數(shù)的復(fù)合操作（神經(jīng)網(wǎng)絡(luò)的分層表示）汤善，函數(shù)的分解與近似（矩陣運(yùn)算的近似什猖，用于后期模型壓縮）；概率分布的邊緣化(marginalisation)操作（加法）红淡，實(shí)現(xiàn)聯(lián)合分布到邊緣分布的轉(zhuǎn)換不狮；貝葉斯公式，表示后驗(yàn)概率與先驗(yàn)概率在旱、似然摇零、證據(jù)三者之間的關(guān)系（乘除法）；

策略

目的：通過(guò)參數(shù)學(xué)習(xí)桶蝎，使得模型在未見(jiàn)過(guò)的數(shù)據(jù)上（測(cè)試集）擁有良好的性能(（通過(guò)評(píng)價(jià)指標(biāo)衡量）驻仅。

方法：通過(guò)最小化期望風(fēng)險(xiǎn)選擇模型谅畅；

實(shí)現(xiàn)方式：通過(guò)引入損失函數(shù)度量單次預(yù)測(cè)錯(cuò)誤的程度，每個(gè)樣本求得的損失函數(shù)值乘上出現(xiàn)的概率值噪服，在整個(gè)樣本空間求和可得期望風(fēng)險(xiǎn)毡泻，度量整個(gè)分布上的損失。由于聯(lián)合分布不可知粘优，故通過(guò)在訓(xùn)練集中最小化期望風(fēng)險(xiǎn)的統(tǒng)計(jì)值（經(jīng)驗(yàn)風(fēng)險(xiǎn)）代替仇味，當(dāng)樣本數(shù)N足夠大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)是期望風(fēng)險(xiǎn)的無(wú)偏估計(jì)敬飒。

局限性：當(dāng)樣本不夠大的時(shí)候邪铲，最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)的學(xué)習(xí)方式效果不一定理想，有可能產(chǎn)生“過(guò)擬合”現(xiàn)象无拗。這個(gè)時(shí)候會(huì)引入結(jié)構(gòu)風(fēng)險(xiǎn)，也稱(chēng)正則項(xiàng)昧碉。

算法

當(dāng)數(shù)據(jù)集英染，模型，損失函數(shù)被饿，以及策略確定后四康，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的過(guò)程就是求一個(gè)最優(yōu)化問(wèn)題最優(yōu)解的問(wèn)題。

不同的模型決定了不同的目標(biāo)函數(shù)狭握，有的可以直接求解析解闪金，比如線(xiàn)性回歸；有的沒(méi)有解析解论颅，需要數(shù)值方法哎垦，不同的的函數(shù)有不同的數(shù)值求解方法，常見(jiàn)的有梯度下降及其相關(guān)算法恃疯，牛頓法漏设，擬牛頓法，EM算法等迭代算法今妄；評(píng)價(jià)數(shù)值算法的性能只有一個(gè)原則郑口，又好又快，好體現(xiàn)在找到全局最優(yōu)盾鳞，快體現(xiàn)在迭代次數(shù)少犬性，單次計(jì)算量小。

3.2 如何構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)——直覺(jué)腾仅，經(jīng)驗(yàn)or數(shù)學(xué)基礎(chǔ)

完整的機(jī)器學(xué)習(xí)系統(tǒng)擁有數(shù)據(jù)乒裆，模型，策略攒砖，算法四個(gè)組件缸兔，面對(duì)不同的應(yīng)用場(chǎng)景日裙，通過(guò)更換不同型號(hào)的組件，改變系統(tǒng)的形態(tài)惰蜜，以適應(yīng)該應(yīng)用場(chǎng)景需求昂拂。

如何選取不同型號(hào)的組件，以及把最終的成品打磨好抛猖，絕對(duì)是一項(xiàng)技術(shù)活格侯，在深度學(xué)習(xí)中，這個(gè)過(guò)程也叫煉丹财著，要想成為優(yōu)秀的煉丹師联四，絕非易事。煉丹這種說(shuō)法非常的玄學(xué)撑教，其中到底有什么門(mén)道朝墩，讓我們嘗試著對(duì)各個(gè)組件依次進(jìn)行掃描。

兩副眼鏡——“幾何”和“概率論”

"始于線(xiàn)性回歸"

線(xiàn)性回歸的公式：

$f(\boldsymbol{x})=\boldsymbol{x}^{\top} \boldsymbol{\theta}$

戴上“幾何”眼鏡伟姐，在幾何視角下收苏，數(shù)據(jù)是用向量表示的，所謂向量愤兵，是線(xiàn)性空間的一個(gè)“點(diǎn)”鹿霸；模型為線(xiàn)性模型，數(shù)據(jù)進(jìn)入模型中秆乳，這里的模型為線(xiàn)性函數(shù)懦鼠，可看做一個(gè)算子，實(shí)質(zhì)為線(xiàn)性變換屹堰，經(jīng)過(guò)變換后最終輸出也是一個(gè)”點(diǎn)“肛冶，只不過(guò)這個(gè)點(diǎn)是一維的；在使用策略時(shí)双藕，假設(shè)輸出的這些點(diǎn)處于歐式空間中淑趾，那么就可以使用歐式距離來(lái)度量回歸的預(yù)測(cè)值和真實(shí)值的距離，不同的空間有不同的距離定義忧陪，這里可以選取不同的距離函數(shù)扣泊，除了歐氏距離，其他的還有曼哈頓距離嘶摊，余弦距離延蟹，漢明距離，等等叶堆。為什么這里選擇歐式距離阱飘，我想還是一種直覺(jué)吧,至此，可以最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)了;算法，可以看到這里的目標(biāo)函數(shù)是一個(gè)凸函數(shù)沥匈，并且有解析解蔗喂，可以直接得出要估計(jì)的參數(shù)值。

再換上”概率“這副眼鏡重新審視一下”線(xiàn)性回歸“：
數(shù)據(jù)高帖，模型缰儿，和前面一樣，不再贅述散址。在策略這一步乖阵，將數(shù)據(jù)集中的標(biāo)簽值看做觀測(cè)值，模型回歸的值看做生成值预麸，觀測(cè)值和生成值是有一定誤差的瞪浸，這個(gè)誤差是什么？是否滿(mǎn)足一定的分布吏祸？就跟之前的距離函數(shù)的選取一樣对蒲，這里我們也是只憑經(jīng)驗(yàn)直覺(jué)，經(jīng)驗(yàn)告訴我們?cè)肼暦挚赡苁歉咚乖肼暲缯郑灿锌赡苁遣此稍肼暺氡危鹊取＿@里對(duì)噪聲有先驗(yàn)知識(shí)床估，假設(shè)選取最常見(jiàn)高斯噪聲，至此就可以寫(xiě)出觀測(cè)值的分布诱渤，通過(guò)求解條件分布的極大似然參數(shù)估計(jì)丐巫，得到最終的線(xiàn)性模型的參數(shù)。
形式化公式：

$y_{n}=f\left(x_{n}\right)+\epsilon,\epsilon \sim \mathcal{N}\left(0, \sigma^{2}\right)$

$p(y | \boldsymbol{x})=\mathcal{N}\left(y | f(\boldsymbol{x}), \sigma^{2}\right)\Longleftrightarrow y=x^{\top} \boldsymbol{\theta}+\epsilon$

讓我們寫(xiě)出最后的參數(shù)結(jié)果：

$\theta_{\mathrm{ML}}=\left(\boldsymbol{X}^{\top} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\top} \boldsymbol{y}=\frac{\boldsymbol{X}^{\top} \boldsymbol{y}}{\boldsymbol{X}^{\top} \boldsymbol{X}}$

”幾何視角“下作歐氏距離假設(shè)勺美，和”概率視角“作高斯噪聲的假設(shè)下递胧，得到的結(jié)果是一樣的，具體過(guò)程可自行推導(dǎo)赡茸，經(jīng)常用到的均方差放在概率視角下看也是高斯噪聲缎脾。
將數(shù)據(jù)集輸入求出的模型中，得：

$\boldsymbol{X} \theta_{\mathrm{ML}}=\boldsymbol{X} \frac{\boldsymbol{X}^{\top} \boldsymbol{y}}{\boldsymbol{X}^{\top} \boldsymbol{X}}=\frac{\boldsymbol{X} \boldsymbol{X}^{\top}}{\boldsymbol{X}^{\top} \boldsymbol{X}} \boldsymbol{y},$

如果你熟悉正交投影的話(huà)占卧，仔細(xì)一看遗菠，你會(huì)發(fā)現(xiàn)生成值 $\boldsymbol{X} \theta_{\mathrm{ML}}$ 恰好是觀測(cè)值 $y$ 在 $X$ 張成的子空間的正交投影,這給了之前”最小化平均歐氏距離“幾何解釋。

對(duì)比兩種視角下的建模過(guò)程的策略階段华蜒，我們發(fā)現(xiàn)幾何直覺(jué)的優(yōu)點(diǎn)是更直接辙纬，幾何圖像更有助于記憶，但某些情況下我們無(wú)法確定輸出空間結(jié)構(gòu)叭喜，無(wú)法靠直覺(jué)寫(xiě)出距離函數(shù)贺拣；在概率框架下，我們研究過(guò)很多概率分布，可以很方便的對(duì)最后的預(yù)測(cè)值（條件分布值）進(jìn)行概率建模譬涡。引入概率框架后闪幽，可以很方便的利用貝葉斯定理，嵌入?yún)?shù)的分布信息涡匀，對(duì)參數(shù)進(jìn)行極大后驗(yàn)估計(jì)盯腌，取對(duì)數(shù)后，貝葉斯定理中的乘法因子變成目標(biāo)函數(shù)后面的加法因子渊跋，這和正則項(xiàng)是對(duì)應(yīng)的腊嗡，L1正則項(xiàng)對(duì)應(yīng)期望為零的拉普拉斯先驗(yàn)分布(LASSO回歸)，L2正則項(xiàng)對(duì)應(yīng)期望為零的高斯先驗(yàn)分布(嶺回歸）拾酝。除此之外燕少，概率框架下除了能點(diǎn)估計(jì)，還能進(jìn)行區(qū)間估計(jì)蒿囤，既能輸出預(yù)測(cè)值客们，還能輸出預(yù)測(cè)值的概率，”概率視角“下的機(jī)器學(xué)習(xí)幫助我們理解了很多概念材诽，包括損失函數(shù)底挫，正則項(xiàng)，等等脸侥，是很有利的武器建邓。

從”線(xiàn)性“到”非線(xiàn)性“

重寫(xiě)線(xiàn)性回歸公式：

$y=\phi^{\top}(x) \boldsymbol{\theta}+\epsilon$

輸入不再是 $\boldsymbol{x}$ ,變成了 $\phi^{\top}(x)$ ，我們對(duì)feature進(jìn)行線(xiàn)性回歸睁枕，比如多項(xiàng)式回歸官边，寫(xiě)作：

$\phi(x)=\left[\begin{array}{c} {\phi_{0}(x)}\\ {\phi_{1}(x)}\\ {\vdots}\\ {\phi_{K-1}(x)} \end{array}\right]=\left[\begin{array}{c} {1}\\ {x}\\ {x^{3}}\\ {x^{3}}\\ {\vdots}\\ {x^{K-1}} \end{array}\right] \in \mathbb{R}^{K},$

通過(guò)泰勒展開(kāi)，無(wú)限增加多項(xiàng)式的維度外遇，我們知道多項(xiàng)式回歸就能擬合任意的曲線(xiàn)注簿。這樣就把一個(gè)非線(xiàn)性的問(wèn)題統(tǒng)一到了線(xiàn)性回歸的框架下，只是同樣的參數(shù)向量表達(dá)了不同的意義跳仿，因?yàn)樗鼈兊幕蛄堪l(fā)生了改變诡渴，不同的基向量對(duì)應(yīng)了不同的特征空間。如何表示特征空間菲语，不同的算法采用了不同的數(shù)學(xué)技巧妄辩。神經(jīng)網(wǎng)絡(luò)通過(guò)施加 $f_{K-1} \circ \cdots \circ f_{0}$ 多層特征變換，每一層為一個(gè)仿射變換后接一個(gè)非線(xiàn)性變換（激活函數(shù)）谨究，（神經(jīng)網(wǎng)絡(luò)廣義線(xiàn)性模型解釋和神經(jīng)網(wǎng)絡(luò)的拓?fù)浣忉?/a>）恩袱；支持向量機(jī)使用了”核技巧”，通過(guò)無(wú)窮升維使得線(xiàn)性不可分變得線(xiàn)性可分胶哲。

關(guān)于特征的提取衍生了傳統(tǒng)的機(jī)器學(xué)習(xí)派和如今大熱的深度學(xué)習(xí)派畔塔。以前的特征工程通過(guò)手工提取特征使得特征提取具有一定的解釋性，在數(shù)據(jù)量較小的情況下效果是可以的，可說(shuō)是特征工程澈吨，其實(shí)也是“專(zhuān)家工程",沒(méi)有強(qiáng)悍的領(lǐng)域知識(shí)把敢，沒(méi)有辦法提取好的特征。以前的行人識(shí)別就是先提取“HOG”特征谅辣，再用“SVM"進(jìn)行分類(lèi)修赞，這樣的弊端是一個(gè)特征工程可能就是好幾十年的心血，并且提取的特質(zhì)是人的有限經(jīng)驗(yàn)桑阶，上限不高柏副；深度學(xué)習(xí)的興起，使得特征提取的過(guò)程變得自動(dòng)了蚣录，模型根據(jù)數(shù)據(jù)集自己學(xué)習(xí)特征割择，實(shí)驗(yàn)證明這種分層表示學(xué)習(xí)范式具有很好的效果，只是其數(shù)學(xué)理論證明還未出現(xiàn)萎河。

有了特征自動(dòng)提取荔泳，可以隨意想象一下他所蘊(yùn)含的能量。以前有傅里葉變換虐杯，幫助我們獲得譜空間的表示玛歌，頻譜表示是一個(gè)無(wú)窮維的向量，頻譜表示后的特征適合做濾波這類(lèi)的事情擎椰。傅里葉變換是數(shù)學(xué)變換支子，但是有著完美的物理意義，而現(xiàn)在通過(guò)網(wǎng)絡(luò)模型對(duì)輸入向量進(jìn)行空間變換可以完成更復(fù)雜达舒，更高級(jí)的任務(wù)译荞，我們的基坐標(biāo)不再是頻率了，可以是任意復(fù)雜的休弃，人們無(wú)法認(rèn)知的特征基。這樣的特征是通過(guò)數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)到的圈膏，以匹配特定的任務(wù)塔猾。這樣做的好處是只要算力和數(shù)據(jù)到位，能快速解決復(fù)雜問(wèn)題稽坤；缺點(diǎn)就是模型偏復(fù)雜丈甸，有參數(shù)冗余，解釋性差尿褪，不像物理方程那么簡(jiǎn)潔睦擂，物理方程的物理參數(shù)是有具體物理意義的，并且遷移性也較差杖玲，是針對(duì)特定任務(wù)訓(xùn)練出來(lái)的顿仇。但優(yōu)缺點(diǎn)是相對(duì)的，看更看重哪方面，其實(shí)想想也能說(shuō)得過(guò)去臼闻，物理世界也沒(méi)有大一統(tǒng)鸿吆，沒(méi)有哪個(gè)方程能解釋整個(gè)宇宙，愛(ài)因斯坦沒(méi)做到述呐，不知道以后有沒(méi)有人會(huì)做到惩淳。

從”回歸“到”分類(lèi)“：

回歸的輸出是連續(xù)值，分類(lèi)的輸出是離散值乓搬。在分類(lèi)任務(wù)里思犁，線(xiàn)性回歸后的輸出不是一個(gè)實(shí)數(shù)，而是一個(gè) $\mathbb{R}^{N}$ 向量进肯，N是類(lèi)別數(shù)激蹲，后面再加上一個(gè)非線(xiàn)性變換，比如二分類(lèi)的就是sigmoid函數(shù)坷澡，多分類(lèi)就是softmax函數(shù)托呕。這樣做的目的是使得輸出為一個(gè)概率空間。概率空間的特點(diǎn)是频敛，每個(gè)分量都為正數(shù)项郊，分量的代數(shù)和為1，這樣斟赚，就可以統(tǒng)一損失函數(shù)了着降。在概率論中，衡量?jī)蓚€(gè)分布的距離函數(shù)為KL散度拗军，略去無(wú)關(guān)項(xiàng)后任洞，化簡(jiǎn)為交叉熵的形式，用信息論的知識(shí)可以很好理解发侵。因此”信息論“可以是我們的第三副眼鏡交掏，在很多其他機(jī)器學(xué)習(xí)算法中都會(huì)涉及”信息熵“的概念，比如決策樹(shù)刃鳄。

廣義線(xiàn)性模型能包含以上內(nèi)容的基本精髓盅弛。

有了”幾何“視角，”概率“視角叔锐，“信息”視角挪鹏，基本可以對(duì)一個(gè)完整的機(jī)器學(xué)習(xí)過(guò)程有足夠多的數(shù)學(xué)直覺(jué)。這其實(shí)也是我們通常所說(shuō)的機(jī)器學(xué)習(xí)的幾大數(shù)學(xué)基礎(chǔ)：線(xiàn)性代數(shù)愉烙，概率論讨盒，信息論，以及沒(méi)有提到的“算法”組件里的最優(yōu)化理論步责。這些都是數(shù)學(xué)基礎(chǔ)返顺，可不是理論基礎(chǔ)禀苦，有的機(jī)器學(xué)算法有嚴(yán)密的數(shù)學(xué)理論推導(dǎo)，可是在如今火熱發(fā)展的深度學(xué)習(xí)領(lǐng)域创南，他并沒(méi)有堅(jiān)實(shí)的理論基礎(chǔ)伦忠。為什么深度模型能高效學(xué)習(xí)？為什么深度模型比淺層模型好稿辙？為什么什么樣的深度學(xué)習(xí)泛化性也不錯(cuò)昆码？都是要解決的問(wèn)題。除了以上提到的視角邻储，你如果能找到更好的視角去理解數(shù)據(jù)赋咽，理解模型，理解泛化性吨娜，理解模型的收斂性質(zhì)脓匿，那也是極好的。

再談?chuàng)p失函數(shù)

之前的策略里提到構(gòu)建的損失函數(shù)的思路宦赠，不論是“幾何視角下最小化距離度量陪毡，還是“概率視角”下的極大似然估計(jì)和最大后驗(yàn)估計(jì)都是針對(duì)當(dāng)前訓(xùn)練集而言。目的是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化勾扭，而我們的終極目的是期望風(fēng)險(xiǎn)最小化毡琉，經(jīng)驗(yàn)風(fēng)險(xiǎn)是期望風(fēng)險(xiǎn)的統(tǒng)計(jì)值，當(dāng)數(shù)據(jù)樣本不斷接近總樣本數(shù)的時(shí)候妙色，經(jīng)驗(yàn)風(fēng)險(xiǎn)收斂于期望風(fēng)險(xiǎn)桅滋。因此可將收集到數(shù)據(jù)集樣本看做總體數(shù)據(jù)集的一次采樣，采樣到的樣本分布可能并不是均衡的身辨，這個(gè)時(shí)候的處理思路有兩種丐谋，一種思路是對(duì)收集到的數(shù)據(jù)集進(jìn)行重采樣，使得樣本分布平衡煌珊；另外一種是對(duì)損失函數(shù)進(jìn)行修改号俐，對(duì)損失函數(shù)進(jìn)行加權(quán)處理，以抑制樣本分布失衡導(dǎo)致的損失偏好定庵，focal loss體現(xiàn)了這種思想萧落。

前面說(shuō)的是損失函數(shù)確定了以后后，如何根據(jù)樣本分布做調(diào)整適應(yīng)洗贰。那損失函數(shù)確定的根據(jù)又是什么？損失函數(shù)由評(píng)價(jià)指標(biāo)確定陨倡，比如同樣是一個(gè)分類(lèi)問(wèn)題敛滋，有的任務(wù)關(guān)心準(zhǔn)確率，有的關(guān)系召回率兴革，有的兩者需要平衡绎晃，根據(jù)你的任務(wù)確定蜜唾。在回歸任務(wù)中，通常是用不同的范數(shù)衡量損失庶艾，L1范數(shù)相較于L2范數(shù)對(duì)異常點(diǎn)沒(méi)那么敏感袁余。

后記——雜談

系統(tǒng)工程

作為一個(gè)系統(tǒng)工程，有不同的群體參與其中咱揍，各自的關(guān)注點(diǎn)不盡相同颖榜，掌握的技術(shù)棧也有差異，大數(shù)據(jù)工程師通過(guò)使用Hadoop等分布式存儲(chǔ)工具和spark,flink這樣的分布式計(jì)算引擎煤裙，進(jìn)行批量計(jì)算和流式計(jì)算掩完；算法工程師承擔(dān)著模型的選擇，訓(xùn)練硼砰，部署且蓬，壓縮等工作，不同的應(yīng)用場(chǎng)景和公司業(yè)務(wù)對(duì)每個(gè)階段側(cè)重點(diǎn)不一题翰；也有算法框架工程師恶阴，專(zhuān)注機(jī)器學(xué)習(xí)的框架的移植、以及機(jī)器學(xué)習(xí)編譯工程師豹障，專(zhuān)注于編譯器的研發(fā)冯事，實(shí)現(xiàn)模型的跨平臺(tái)，也許某個(gè)公司也會(huì)招機(jī)器學(xué)習(xí)全棧工程師沼填；學(xué)術(shù)界的研究按時(shí)序有它的趨勢(shì)桅咆，熱點(diǎn)問(wèn)題會(huì)有更多的文章出現(xiàn)，從前幾年的模型結(jié)構(gòu)坞笙，預(yù)訓(xùn)練模型岩饼，到模型可解釋性，模型的加速與壓縮薛夜；最近關(guān)于深度學(xué)習(xí)的理論研究開(kāi)始加大戲份籍茧，包括數(shù)據(jù)表示、模型泛化梯澜、優(yōu)化算法等方面的內(nèi)容寞冯。

新紀(jì)元

很多人說(shuō)深度學(xué)習(xí)將開(kāi)啟一個(gè)時(shí)代，如果你潛入其中晚伙，悟得一點(diǎn)心法吮龄，肯定能理解當(dāng)年Google辦公室里邊那群科技大佬在第一次面對(duì)深度學(xué)習(xí)這塊玄鐵的時(shí)候以近乎瘋狂的分貝喊了一嗓子”oh，Holy ****“吧咆疗，不知時(shí)至今日漓帚，當(dāng)初的宏大愿景完成了多少。

淺談機(jī)器學(xué)習(xí)

淺談機(jī)器學(xué)習(xí)

前言

1.機(jī)器學(xué)習(xí)是什么？

2.機(jī)器學(xué)習(xí)的分類(lèi)

按學(xué)習(xí)范式分：

按建模方式分：

3.如何構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)舞蔽？

3.1機(jī)器學(xué)習(xí)系統(tǒng)組件

數(shù)據(jù)

模型

策略

算法

3.2 如何構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)——直覺(jué)腾仅，經(jīng)驗(yàn)or數(shù)學(xué)基礎(chǔ)

兩副眼鏡——“幾何”和“概率論”

"始于線(xiàn)性回歸"

從”線(xiàn)性“到”非線(xiàn)性“

從”回歸“到”分類(lèi)“：

再談?chuàng)p失函數(shù)

后記——雜談

系統(tǒng)工程

新紀(jì)元

推薦閱讀

推薦閱讀更多精彩內(nèi)容