?其實在統(tǒng)計學(xué)習(xí)世界里赋朦， GMM有高美美和廣美美之分篓冲，Gaussian mixture model vs Generalized moment method. ?當然不是每個美美都是我們談?wù)摰脑掝}。 這里我們討論的是廣美美宠哄，是一個諾貝爾經(jīng)濟學(xué)將的發(fā)明壹将，是如何又廣又美了的呢？
在等價のGLS, 2SLS, IV 毛嫉？介紹了一定的等價性時候提到矩估計MME到廣義矩估計GMM的泛化诽俯。 ?在最大似然估計的2種論證里面討論了如何用MME來論證MLE。 ?對于廣而言承粤， 講到三大估計MME暴区，MLE，LSE辛臊， 他們的一次大統(tǒng)一就是GMM仙粱。
憑什么， GMM能夠初步建立大一統(tǒng)的呢彻舰？
引言
華人的女婿發(fā)明了GMM
Lars Peter Hansen 漢森伐割， 美國人， 博士畢業(yè)于明尼蘇達大學(xué)University of Minnesota刃唤， 憑借發(fā)明了GMM獲得了2013年諾貝爾經(jīng)濟學(xué)大獎口猜。 他的老婆蔣人瑞是華人，岳父蔣碩杰是民國時期最杰出經(jīng)濟學(xué)家透揣。
GMM發(fā)表在1982年济炎，一共27頁。 其中部分證明發(fā)表在2012年辐真， 有16頁的補充證明须尚。 或許知道要獲諾貝爾經(jīng)濟學(xué)大獎了崖堤， 順勢補全下下證明。
這篇論文里面耐床，滿滿的全是數(shù)學(xué)證明密幔， 有興趣可以去讀下下。 ?所以學(xué)好經(jīng)濟學(xué)本身撩轰， 對數(shù)學(xué)的掌握也是要認證對待的胯甩。
GMM的誕生
從引文窺探
那么， 漢森是如何發(fā)明廣義矩估計的呢堪嫂？ 但是偎箫， 他在他的論文里面沒有說起他思想的來源和發(fā)展。 因此這里我們按圖索驥的推測皆串。 ?首先淹办， 從他引用論文開始， 我們發(fā)現(xiàn)他很認真的強調(diào)了2階段最小二乘法2SLS和3階段最小二乘法3SLS（ 參考等價のGLS, 2SLS, IV 恶复？）怜森。 譬如在他的論文里面對1， 2谤牡， 5 和11 都特別強調(diào)了副硅。 ?前面我們說過，Theil發(fā)明的2SLS可以看成是工具變量IV的泛化翅萤， 那么為什么這里要不停的強調(diào)3SLS恐疲？
漢森不停的在引用的論里面強調(diào)3SLS
那么， 我們大膽卻又合理的假設(shè)断序，3SLS觸發(fā)了漢森發(fā)明GMM的靈感流纹， 那么如何來證實這個3SLS可以引出GMM呢糜烹？ 在說明這個之前违诗， 先要說明3SLS存在的意義。
為什么要有2SLS
在前面（等價のGLS, 2SLS, IV 疮蹦？回歸分析中的問題和修正的探討（下篇））里面說了诸迟， 當存在測量誤差的時候，E(X, U) = 0 就不滿足了愕乎， 或者特殊的一階自相關(guān)的時候阵苇， 2SLS就可以發(fā)揮神奇了， 并且對于E(X, U) ≠ 0 的情況下感论， 工具變量IV也是極好的處理辦法绅项。
我們稍微從另外一個角度回顧一下， 對于線性的估計來說比肄， 最優(yōu)估計要求E(X, U) = 0 快耿。而經(jīng)典的最小二乘法OLS就是直接求導(dǎo)這個最優(yōu)的過程（參考 最小二乘法的由來一步一步走向錐規(guī)劃 - 最小二乘法）囊陡。
既然2SLS有存在的必要的， 那么為什么要有3SLS呢掀亥？
為什么要有3SLS
當除了E(X, U)?≠?0測量誤差時候撞反， 還有似不相關(guān)seemingly unrelated regressions (SUR)的情況的時候， 就需要3SLS了搪花。
似不相關(guān)SUR也的確如它的名字一樣遏片， 有m個參數(shù)估計， 表面上看是m個獨立的表達式撮竿， 完全可以使用m個2SLS去進行參數(shù)估計吮便。
但是骨子里還是有相關(guān)的地方的， 就在于這些誤差在同一時刻的時候相關(guān)的倚聚，而不同時刻的時候不想關(guān)线衫。
那么， 對于利用矩陣統(tǒng)一后惑折， SUR的m個回歸的協(xié)方差矩陣就會不太一樣了授账。
這里要特別注意的是， 這個矩陣和之前我們看到的一個表達式里面的協(xié)方差矩陣很不一樣惨驶，為什么呢白热？因為上面這個矩陣的每個元素都是矩陣。 而經(jīng)典的協(xié)方差矩陣每個元素都是標量粗卜。
但是為了達到同樣的表達效果屋确， 我們定義新的運算法則圈乘：
另外， 根據(jù)SUR特殊的同一時間的相關(guān)性续扔， 我們知道只有對角線存在元素攻臀。 這種情況，我們可以使用廣義最小二乘法GLS進行處理的纱昧。
但是因為這個圈乘的特殊性刨啸， 這里把這種GLS叫做Feasible GLS, FGLS。
其實识脆， 某種意義上设联， 這種只有對角線存在元素的情況， 只要加權(quán)最小二乘法WLS進行處理就好了灼捂。
這樣我們把3SLS的過程總結(jié)如下：
1）先用2SLS進行獨立的參數(shù)估計
2）估算協(xié)方差矩陣
3）估計FGLS結(jié)果
這樣离例， 當不存在SUR的情況的時候， 那么3SLS就是2SLS的獨立解悉稠。 因為Σ是嚴格對角陣宫蛆。
2SLS作為IV -> 3SLS作為廣義IV
在等價のGLS, 2SLS, IV ？里面我們探討了在矩陣滿秩情況下的猛， 2SLS和IV是嚴格等價的∫粒現(xiàn)在3SLS情況下辑甜， 我們完全可以把2SLS退化成工具變量IV了， 由第三階段FGLS進行泛化袍冷。 ?這種泛化的工具變量也是漢森當時考慮的熱點磷醋。 幾乎和GMM論文同時發(fā)表， 并且進行循環(huán)引用的另外一篇論文（Generalized Instrumental Variables Estimation of Nonlinear Rational Expectations Models）說明了漢森當時的這種考慮胡诗。
這種相互引用的論文發(fā)表過程邓线， 說明了這種思考是幾乎同時進行的。 因此煌恢，某種意義上GMM也是建立在建立一個廣義的IV的基礎(chǔ)上產(chǎn)生的骇陈。 而3SLS提供了這個基礎(chǔ)。
幾乎同時發(fā)表的文章瑰抵， 循環(huán)引用
在這個理解的基礎(chǔ)上你雌， 那么廣義IV距離GMM就一步距離了， 就是如何把IV看成矩估計二汛。
IV作為矩估計MME
矩估計MME非常有用婿崭， 如果直接從IV思想出發(fā)， 假設(shè)工具變量就是自變量本身的話肴颊， 那么矩估計MME代入就是最小二乘法OLS氓栈。 在最大似然估計的2種論證里面我們說明了， 在一定的替換條件下婿着， 最大似然估計可以看成矩估計授瘦。 這里我們簡單說明了，最小二乘法也可以看成矩估計竟宋， 只要在IV思想下把自變量看成工具變量提完， 這也恰好是最小二乘法要滿足的假設(shè)之一（參考最小二乘法的6個假設(shè) (中篇)）。
那么IV過程本身是如何看成MME的呢丘侠？
其實這個過程十分簡單徒欣， 和上面非常相似， 也是直接從IV的思想出發(fā)婉陷。
這說明帚称，IV思想和MME結(jié)合會發(fā)揮巨大的作用官研， 而這個替代和作用的過程秽澳， 用到一個工具：向量值函數(shù)Vector-valued function。 我們知道戏羽，在3SLS里面担神， 2SLS是一組值， 那么把這種一組值依然表示為向量始花。同時引入函數(shù)思想妄讯， 我們就得到了向量值函數(shù)孩锡。
廣義IV作為GMM：MME + FGLS -> GMM
通過 3SLS ?和 向量值 函數(shù)的思想的引入 :
3SLS (2SLS + FGLS) -> (IV + FGLS) -> (MME + FGLS) -> GMM
.^.
Vector-valued function ?.. |
我們就得到了形式完美的廣義矩估計 GMM：
這樣， GMM某種意義上含有3SLS同等強大的能力亥贸， 甚至更強躬窜。 下面舉個簡單的例子說明求解過程：
這樣， 我們根據(jù)論文思想和合理假設(shè)炕置， 推理了一下漢森發(fā)現(xiàn)GMM的整個思路荣挨。
小結(jié)：
這里說明了廣美美GMM的誕生， 下期說明一下廣美美的廣和美朴摊。
關(guān)鍵詞：
2SLS
3SLS
IV
SUR
FGLS
Generalized LV
GMM
Vector-valued function
相關(guān)話題：
Z-Test vs T-Test vs F-Test vs χ2-Test
參考：
https://www.ucy.ac.cy/econ/documents/working_papers/0109.pdf
http://teach.business.uq.edu.au/courses/FINM6905/files/module-1/readings/Hansen.pdf
http://home.uchicago.edu/~lhansen/Hansen16_Proofs.pdf
