問題
問題1
y敏感而不是x敏感普气,是不是說明容錯非常差栏渺,x一點抖動會直接影響y的結(jié)果
問題2
多維度這里只說到了θj的求解膘盖,也就是本維度最大似然的參數(shù),那么多維的θj又是如何組合起來判斷骂维,綜合各維度的結(jié)果呢?
14課 邏輯回歸——非線性邏輯函數(shù)的由來
邏輯回歸 Logistic Regression (LR)
LR 是一種簡單贺纲、高效的常用分類模型
由來
指數(shù)增長:幾何級數(shù)
對指數(shù)函數(shù)的上限修正
用邏輯函數(shù)來描述人口增長的情況航闺,直觀上:起初階段大致是指數(shù)增長,隨著總量增長猴誊,逐漸趨于飽和潦刃,增加變慢;最后懈叹,達到成熟時增長趨停乖杠。
邏輯函數(shù)表示存量與時間的變化關(guān)系,反映到增長率的話(微分澄成,邏輯分布)胧洒,則是類似正態(tài)分布,終趨于零)
方法論
將問題定義為函數(shù)环揽,做出最簡單假設(shè)略荡,用事實驗證形成模型,對問題進行修正升級模型歉胶。核心:直接汛兜、簡單、基于現(xiàn)有成果
線性VS非線性
線性關(guān)系表達的是一種相關(guān)性通今。線性回歸因其簡單粥谬、容易理解、計算量低等特點辫塌,而在現(xiàn)實中得到了廣泛應用(基本上漏策,任何事情,上來先做個線性回歸臼氨,即使無法得出結(jié)論掺喻,也不會消耗太多資源)。
但是储矩,相關(guān)不等于因果感耙,許許多多的情況無法用簡單的相關(guān)來模型化。
非線性計算量大持隧。
15課 邏輯回歸——用來做分類的回歸模型
邏輯回歸分類
LR的縱軸在[0,1]區(qū)間的實數(shù)即硼。y>0.5時為True,y<=0.5時為false屡拨。
由于在0.5附近較敏感只酥,正好適合分類褥实。(問題?裂允,y敏感而不是x敏感损离,不是說明容錯非常差,x一點抖動會直接影響y的結(jié)果)
邏輯回歸的目標函數(shù)
公式本身h(x) 指y為陽性的分布概率
下面的公式又看漿糊了叫胖,大意:為了求L(θ) 這個極大似然草冈,先取對數(shù)好計算,然后取負改為凸函數(shù)求最小瓮增,得到負對數(shù)似然函數(shù)(LR目標函數(shù))
優(yōu)化算法
- 對目標函數(shù)求導獲得下降方向--J′(θ)
- 根據(jù)步長α,更新參數(shù)θ:=θ?αJ′(θ) 哩俭;
- 迭代收斂
對n維的情況绷跑,分別求解。
問題?多維度這里只說到了θj的求解凡资,也就是本維度最大似然的參數(shù)砸捏,那么多維的θj又是如何組合起來判斷,綜合各維度的結(jié)果呢隙赁?
代碼實現(xiàn)
用sklearn庫簡單
多分類問題
原理:2分做n次垦藏,每次分為本組的true false。最終哪組true或者概率最高伞访,確定結(jié)果掂骏。不過在sklearn中無需考慮。