收藏強(qiáng)迫癥

這個(gè)就是資料~

1. 教學(xué)算法github

https://github.com/nryoung/algorithms

2. 中文awesome-python

https://github.com/jobbole/awesome-python-cn

3. 中文awesome-machine-learning

https://github.com/jobbole/awesome-machine-learning-cn

4. 基于tensorflow的詞向量模型

https://github.com/GradySimon/tensorflow-glove

5. 中文的tensorFow教程

http://my.oschina.net/yilian/blog/664632?fromerr=PHHDnjdO

6. word2vec的python接口

https://github.com/danielfrg/word2vec
http://nbviewer.jupyter.org/github/danielfrg/word2vec/blob/master/examples/word2vec.ipynb

PRML隨手記

以后會(huì)好好整理滴~~~

• 正確分類與訓(xùn)練集不同的新樣本的能力叫做泛化（generalization）

• 原始輸入向量通常被預(yù)處理（pre-processed），變換到新的變量空間
• 這個(gè)預(yù)處理階段有時(shí)被叫做特征抽妊ⅰ（feature extraction）
• 訓(xùn)練數(shù)據(jù)的樣本包含輸?向量以及對(duì)應(yīng)的目標(biāo)向量的應(yīng)用叫做有監(jiān)督學(xué)習(xí)（supervised learning）問(wèn)題
• 訓(xùn)練數(shù)據(jù)由一組輸入向量x組成色难，沒(méi)有任何對(duì)應(yīng)的目標(biāo)值祸挪。無(wú)監(jiān)督學(xué)習(xí)（unsupervised learning）
• 無(wú)監(jiān)督學(xué)習(xí)中，發(fā)現(xiàn)數(shù)據(jù)中相似樣本的分組缘眶，這被稱為聚類（clustering）
• 發(fā)現(xiàn)數(shù)據(jù)中輸入空間中數(shù)據(jù)的分布，這被稱為密度估計(jì)（density estimation）
• 反饋學(xué)習(xí)（reinforcement learning）技術(shù)關(guān)注的問(wèn)題是在給定的條件下，找到合適的動(dòng)作面殖，使得獎(jiǎng)勵(lì)達(dá)到最大值

• 符合高斯分布的隨機(jī)噪聲

  
  
  其中M是多項(xiàng)式的階數(shù)（order），xj 表示x的j次冪哭廉。多項(xiàng)式系數(shù)w0... wM 整體記作向量w

• 注意脊僚，雖然多項(xiàng)式函數(shù)y(x，w)是x的一個(gè)非線性函數(shù)遵绰，它是系數(shù)w的一個(gè)線性函數(shù)吃挑。
  函數(shù)的這種關(guān)于未知參數(shù)滿足線性關(guān)系的函數(shù)有著重要的性質(zhì)，被叫做線性模型

  
  
  誤差函數(shù)（error function）
  
  

  最小化誤差函數(shù)（error function）的方法實(shí)現(xiàn)實(shí)現(xiàn)參數(shù)訓(xùn)練

  
  
  根均根（RMS）誤差
  
  根均根（RMS）誤差：除以N讓我們能夠以相同的基礎(chǔ)對(duì)比不同大小的數(shù)據(jù)集街立，平方根確保了ERMS 與目標(biāo)變量t使用相同的規(guī)模和單位進(jìn)行度量
• 經(jīng)常用來(lái)控制過(guò)擬合現(xiàn)象的一種技術(shù)是正則化（regularization）舶衬。這種技術(shù)涉及到給誤差函數(shù)增加一個(gè)懲罰項(xiàng)，使得系數(shù)不會(huì)達(dá)到很大的值赎离。這種懲罰項(xiàng)最簡(jiǎn)單的形式采用所有系數(shù)的平方和的形式逛犹。
• 通常系數(shù)w0 從正則化項(xiàng)中省略，因?yàn)榘瑆0 會(huì)使得結(jié)果依賴于目標(biāo)變量原點(diǎn)的選擇
• 在統(tǒng)計(jì)學(xué)中被叫做收縮（shrinkage）方法
• 二次正則項(xiàng)的一個(gè)特殊情況被稱為山脊回歸（ridge regression）
• 神經(jīng)網(wǎng)絡(luò)的情形中梁剔，這種方法被叫做權(quán)值衰減（weight decay）

隨著?的λ增大虽画，系數(shù)的大小變化

• 隨著?的λ增大，系數(shù)的大小逐漸變小荣病。

  
  
  隨著?的λ增大码撰，RMS變化

• 概率論的兩個(gè)基本規(guī)則：加和規(guī)則（sum rule）、乘積規(guī)則（product rule）

• X取值xi 且Y 取值yj 的概率被記作p(X = xi; Y = yj)个盆，被稱為X = xi 和Y = yj 的聯(lián)合概率（joint probability）
• 注意脖岛，p(X = xi)有時(shí)被稱為邊緣概率（marginal probability），因?yàn)樗ㄟ^(guò)把其他變量（本例中的Y ）邊緣化或者加和得到

• 如果我們只考慮那些X = xi的實(shí)例颊亮，那么這些實(shí)例中Y = yj 的實(shí)例所占的比例被寫(xiě)p(Y = yj j X = xi)柴梆，被稱為給定X = xi 的Y = yj 的條件概率conditional probability）

  
  
  加法準(zhǔn)則和乘法準(zhǔn)則
  
  
  由乘法規(guī)則可以得到貝葉斯定理（Bayes' theorem）
  
  
  分母用加法準(zhǔn)則表示
• 可以把貝葉斯定理的分母看做歸一化常數(shù)，用來(lái)確保貝葉斯公式左側(cè)的條件概率對(duì)于所有的Y 的取值之和為1
• 對(duì)于離散的數(shù)值來(lái)說(shuō)终惑，是概率

• 對(duì)于連續(xù)的數(shù)值來(lái)說(shuō)绍在，是概率密度（probability density）

  
  
  概率密度（probability density）
  
  
  位于區(qū)間( -無(wú)窮 ， z)的x的概率是累積分布函數(shù)（cumulative distribution function）

• 到概率的一個(gè)重要的操作是尋找函數(shù)的加權(quán)平均值。在概率分布p(x)下偿渡，函數(shù)f(x)的平均值被稱為f(x)的期望（expectation）臼寄，記作E [f]。

  
  
  離散變量的期望
  
  
  連續(xù)變量的期望
  
  
  條件分布的條件期望（conditional expectation）
  
  
  f(x)的方差（variance）

• 它度量了f(x)在均值E [f(x)]附近變化性的大小溜宽。

  
  
  兩個(gè)隨機(jī)變量x和y脯厨，協(xié)方差（covariance）
• 它表示在多大程度上x(chóng)和y會(huì)共同變化。如果x和y相互獨(dú)立坑质，那么它們的協(xié)方差為0