一贱案、最大熵原理
最大熵原理是一種選擇隨機變量統(tǒng)計特性最符合客觀情況的準則寇仓。[1]
熱力學第二定律說明厚棵，當一個熱力學系統(tǒng)達到最后熱平衡狀態(tài)時，該系統(tǒng)的熵會達到最大值箫津。[2]
類似地狭姨，在無外力作用下吓著，事物總是朝著最混亂無序的方向發(fā)展，也就是熵最大的方向發(fā)展送挑。在已知條件下绑莺，熵最大的事物，最可能接近它的真實狀態(tài)惕耕。[3]
因此纺裁，在概率模型中，熵最大的模型是最好的模型[4]司澎，最符合實際情況的模型欺缘。
二、最大熵模型
2.1挤安、定義[4]
2.2谚殊、描述為最優(yōu)化問題[4]
2.3、問題求解
最大熵模型的最終求解可以歸結為最優(yōu)化問題的求解蛤铜，具體方法有通用迭代算法（Generative Iterative Scaling嫩絮，GIS），改進的迭代尺度算法（Improved Iterative Scaling围肥，IIS）剿干。
三、參考
[1]穆刻、百度百科
[2]置尔、《淺談最大熵原理和統(tǒng)計物理學》，曾致遠著
[3]氢伟、最大熵理論及其應用
[4]榜轿、《統(tǒng)計學習方法》，李航著
