1、機器學(xué)習(xí)中的數(shù)值計算
? ??????概念解釋：通常是指通過迭代過程更新解的估計值來解決數(shù)學(xué)問題的算法（而非通過解析過程推導(dǎo)出公式來提供正確解的辦法）
? ??????常見操作：優(yōu)化；線性方程組的求解南蓬。
? ??????困難：實數(shù)無法在數(shù)字計算機的有限內(nèi)存下精確表示，所以我們都是通過有限數(shù)量的位模式來表示無限多的實數(shù)，因此往往會引入一些舍入誤差赘方，舍入誤差累積可能會導(dǎo)致算法失效烧颖，例如造成上溢或下溢。
1.1 上溢和下溢
????????概念解釋：
????????????下溢：當(dāng)接近零的數(shù)被四舍五入為零時發(fā)生下溢窄陡。許多函數(shù)在其參數(shù)為零會發(fā)生異常倒信，如除數(shù)為零、取零的對數(shù)等泳梆。
????????????上溢：當(dāng)大量級的數(shù)被近似為∞ \infty∞ 或?∞ -\infty?∞ 時發(fā)生上溢鳖悠。進一步的運算通常會導(dǎo)致這些無限值變?yōu)榉菙?shù)字。
????????上溢下溢的解決實例——softmax函數(shù)：
????????????概念：softmax函數(shù)經(jīng)常被用來預(yù)測與多項式分布相關(guān)聯(lián)的概率优妙，公式為：
????????????特例：所有的= c時乘综，當(dāng)c無窮小，分母為0套硼，下溢卡辰，c無窮大，上溢邪意；
?????????????解決方案：
? ??????????????????;
????????????????????exp最大參數(shù)值為0九妈，排除上溢；
????????????????????分母中必有一個1雾鬼，排除下溢萌朱；
1.2 病態(tài)條件
? ??????條件數(shù)：函數(shù)相對輸入的微小變化而變化的快慢程度（輸入的輕微變化導(dǎo)致輸出的大幅改變）。
? ??????病態(tài)條件：因本身特性引起的輸出對輸入誤差的敏感性策菜。
