EM算法詳解

作為N大機(jī)器學(xué)習(xí)方法的一員，EM算法在各種書籍宙攻、博客奠货、網(wǎng)上視頻上被描述或者介紹，每次看完總感覺很多地方含糊不清粘优，不能讓一個初學(xué)者（有一定統(tǒng)計概率基礎(chǔ)）接受仇味。最近再B站上，看到徐亦達(dá)老師的課程雹顺，EM算法這塊講解易于理解和接受丹墨，再結(jié)合PRML一書的關(guān)于混合模型和EM章節(jié)內(nèi)容，對整個EM算法從具體的原理上面有了更深入的理解嬉愧。
在下文中贩挣，更多的是通過公式推導(dǎo)和一些文字說明來梳理EM算法，盡量做到大家一看就明白没酣。

極大似然估計

極大似然估計是概率統(tǒng)計中王财，估計模型參數(shù)的一種方法，如果對似然概念以及極大似然估計的概念不理解裕便，可參考維基百科https://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1

這里绒净，我們給出一個一維高斯函數(shù)的例子。如圖1所示偿衰，一維空間里面離散分布的樣本點其分布特點可以看成是一種高斯分布挂疆。那這些樣本的高斯分布函數(shù)參數(shù)怎么求解呢？可以通過極大似然估計獲得下翎。

圖1 一維高斯示例

假設(shè)我們獲取圖1中數(shù)據(jù)樣本集合為 $\{x_1,x_2,..x_i,...,x_n\}$ 缤言，其分布函數(shù)假設(shè)為一維高斯分布，即：
$p(x) =\frac{1}{\sqrt{2\pi}\sigma^2}exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$
那所有數(shù)據(jù)的聯(lián)合概率,即似然函數(shù)為：
$P(\boldsymbol{x})=\prod_{i=1}^n p(x_i)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right)$
對等式兩邊求log视事，即log-likelihood：
$Ln(P(\boldsymbol{x}))=-nLn(\sqrt{2\pi}\sigma)-\sum_{i=1}^n(x_i-\mu)^2/(2\sigma^2)$
分別對參數(shù)求導(dǎo)：
$\frac{\partial{Ln(P(\boldsymbol{x}))}}{\partial\mu}=\frac{\sum_{i=1}^n(x_i-\mu)}{\sigma^2}=0$
$\frac{\partial{Ln(P(\boldsymbol{x}))}}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^4}=0$
可以得到：
$\mu=\frac{1}{n}\sum_{i=1}^n{x_i}$
$\sigma^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2$
通過上述方法胆萧，就可以得到基于樣本數(shù)據(jù)和假設(shè)分布函數(shù)模型情況下，得到樣本數(shù)據(jù)的分布函數(shù)俐东。

高斯混合模型

從圖2所示中跌穗，如果樣本數(shù)據(jù)分布式藍(lán)色點和橙色點的集合，如果依然用高斯分布去進(jìn)行最大似然估計虏辫，得到的分布模型自然是不合適的瞻离。很顯然，樣本數(shù)據(jù)分布存在兩個密集區(qū)（藍(lán)色點和橙色點）乒裆，如果能通過一種方法，確認(rèn)樣本數(shù)據(jù)里面的藍(lán)色點和橙色點，然后分別對藍(lán)色點集合進(jìn)行一個高斯估計鹤耍，對橙色點集進(jìn)行另外一個高斯估計肉迫，兩個高斯混合到一起，是不是比單個高斯能更好的匹配樣本數(shù)據(jù)的分布情況稿黄。這種情況下的分布函數(shù)就是高斯混合模型喊衫。

圖2 一維混合高斯分布示意

這里我們先直接給出高斯混合模型的分布函數(shù)(多維)：
$p(\boldsymbol{x})=\sum_{k=1}^K\pi_k N (\boldsymbol{x}|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k)$
在圖2例子中，提到如果給每一個數(shù)據(jù)樣本能夠先進(jìn)行分類杆怕，即確定屬于哪一個集中的簇中族购，就能比較容易的進(jìn)行混合模型的求解。這說明了什么呢陵珍？我們可以理解寝杖，原始樣本數(shù)據(jù)是不完全的（incomplete），引入一個K維的二值隨機(jī)變量 $\boldsymbol z$ 互纯，這個變量采用"1-of-K"的表示方法瑟幕，即K維中，只有一維是1留潦，其余所有元素等于0只盹。那么每一個樣本數(shù)據(jù)，即有數(shù)據(jù)特征 $\boldsymbol x$ 兔院，再匹配一個分配變量 $\boldsymbol z$ 殖卑，就可以將圖2過程完整描述，即我們認(rèn)為 $\boldsymbol x$ 和 $\boldsymbol z$ 聯(lián)合在一起才是完全的（complete）坊萝。

數(shù)學(xué)表示上孵稽，我們利用邊緣概率分布 $p(\boldsymbol z)$ 和條件概率分布 $p(\boldsymbol x|\boldsymbol z)$ 定義聯(lián)合概率分布 $p(\boldsymbol x,\boldsymbol z)$ .
$\boldsymbol z$ 的邊緣概率分布根據(jù)混合系數(shù) $\pi_k$ 進(jìn)行賦值，即 $p(z_k = 1)=\pi_k,0\leq\pi_k\leq 1,\sum_{k=1}^K\pi_k=1$ ,使得邊緣概率分布是合法屹堰，那么：
$p(\boldsymbol x) = \prod_{k=1}^K\pi_k^{z_k}$
類似的肛冶，在給定 $\boldsymbol z$ 的一個特定的值，即針對某一簇的情況扯键， $\boldsymbol x$ 的條件概率分布是一個高斯分布睦袖，即 $p(\boldsymbol x|z_k = 1)=N(\boldsymbol x|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k)$
$p(\boldsymbol x|\boldsymbol z) = \prod_{k=1}^KN(\boldsymbol x|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k)^{z_k}$
那么根據(jù)貝葉斯公式得到高斯混合模型：
$p(\boldsymbol x) = \sum_{\boldsymbol z}p(\boldsymbol z)p(\boldsymbol x|\boldsymbol z)=\sum_{k=1}^K\pi_k\mathcal N(\boldsymbol x|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k)$
由于我們只能觀察樣本數(shù)據(jù) $\boldsymbol x_1,...,\boldsymbol x_n$ ,無法直接獲取每個數(shù)據(jù)的分配變量 $\boldsymbol z_1,...,\boldsymbol z_n$ ,可理解 $\boldsymbol z_1,...,\boldsymbol z_n$ 為潛在變量（latent）
依據(jù)極大似然函數(shù)的求解方法，我們可以對高斯混合模型寫出數(shù)據(jù)的對數(shù)似然函數(shù)：
$Ln(p(\boldsymbol X))=\sum_{i=1}^nLn\left\{ \sum_{k=1}^K\pi_k N(\boldsymbol x|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k)\right\}$

由于對數(shù)函數(shù)內(nèi)部出現(xiàn)求和荣刑，這種情況是沒有辦法通過求導(dǎo)等于0的方式獲取估計參數(shù)的解析解的馅笙。這種情況下，就需要用到EM算法厉亏，通過迭代方式獲取估計參數(shù)董习。下面我們先從一般性問題上進(jìn)行EM算法的理論描述，然后再利用EM算法推導(dǎo)高斯混合模型的計算方法爱只。

EM算法理論證明

EM算法叫做期望最大化方法皿淋，首先我們給出EM算法一般性結(jié)論或者說步驟，其具體分為兩步，即E-step和M-step窝趣。

E-step：是求期望的步驟疯暑，求誰的期望呢？對聯(lián)合概率分布的log數(shù)據(jù)利用潛在變量的條件概率函數(shù)求期望哑舒，這個期望定義為 $Q(\theta,\theta^{(g)})$ 妇拯，我們寫連續(xù)形式，離散形式類似洗鸵。
$Q(\theta,\theta^{(g)})=\int_{\boldsymbol z}log(p_{\theta}(\boldsymbol x,\boldsymbol z))p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z$
注：有些書籍或者博客中會將參數(shù)寫在 $p$ 里面越锈，我個人看著比較不習(xí)慣，總會把變量和參數(shù)搞混了膘滨，這里寫在下標(biāo)上甘凭。但如果有了解貝葉斯估計的，那個時候參數(shù)也被考慮成變量吏祸，其有自己的分布对蒲。表達(dá)只是一種形式，背后的理論理解掌握就OK啦贡翘。
M-step:是求最大的步驟蹈矮，求誰的最大呢？自然是期望 $Q$ 的最大鸣驱，從而得到新的估計參數(shù)泛鸟，即
$\theta^{(g+1)}=\mathop{\arg\min}_{\theta}Q(\theta,\theta^{(g)})$

EM算法的步驟，通過高斯混合模型可以直觀理解記憶踊东。 $p(\boldsymbol z|\boldsymbol x)$ 是什么意思呢北滥，其含義是在給定數(shù)據(jù)樣本的情況下，潛在變量的概率情況闸翅。也就是說在高斯混合模型中再芋，給定樣本數(shù)據(jù)，我們推測樣本屬于哪一個高斯簇的概率情況坚冀。在確定分配情況后济赎，每一個簇都用高斯進(jìn)行估計，衡量估計好還是不好记某，用期望形式表示司训。這樣可以幫助理解和記憶Q的定義。那EM算法怎么證明其收斂性呢液南？

我們要保證：
$p_{\theta^{(g+1)}}(\boldsymbol x)\geq p_ {\theta^{(g)}}(\boldsymbol x)$
這樣每次迭代可以使得似然函數(shù)隨著參數(shù)變大壳猜，一直到似然函數(shù)不再增大或滿足其他終止條件止。

那怎么保證呢滑凉？首先统扳，利用貝葉斯公式有：
$p_ {\theta}(\boldsymbol x)=\frac{p_\theta(\boldsymbol x,\boldsymbol z)}{p_\theta(\boldsymbol z|\boldsymbol x)}$

兩邊同時取log
$log(p_ {\theta}(\boldsymbol x))=log(p_\theta(\boldsymbol x,\boldsymbol z))-log(p_\theta(\boldsymbol z|\boldsymbol x))$
然后兩邊同時用 $p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)$ 求期望喘帚，可以得：
$\int_{\boldsymbol z}log(p_ {\theta}(\boldsymbol x))p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z=\int_{\boldsymbol z}log(p_\theta(\boldsymbol x,\boldsymbol z))p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z-\int_{\boldsymbol z}log(p_\theta(\boldsymbol z|\boldsymbol x))p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z$
等式左邊 $p_ {\theta}(\boldsymbol x)$ 和 $\boldsymbol z$ 沒有關(guān)系， $p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)$ 是概率密度函數(shù)闪幽，積分是1啥辨，所以等式左邊依然是 $log(p_ {\theta}(\boldsymbol x))$ .
等式右邊第一項就是E-step里面的Q函數(shù)，第二項我們記做H函數(shù)盯腌，則：
$log(p_ {\theta}(\boldsymbol x))=Q(\theta,\theta^{(g)})-H(\theta,\theta^{(g)})$
要保證 $p_{\theta^{(g+1)}}(\boldsymbol x)\geq p_ {\theta^{(g)}}(\boldsymbol x)$ ，首先 $Q(\theta^{(g+1)},\theta^{(g)})\geq Q(\theta^{(g)},\theta^{(g)})$ 陨瘩，那么是不是保證 $H(\theta^{(g+1)},\theta^{(g)})\leq H(\theta^{(g)},\theta^{(g)})$ 滿足腕够，就一定有 $p_{\theta^{(g+1)}}(\boldsymbol x)\geq p_ {\theta^{(g)}}(\boldsymbol x)$ ？答案是肯定的舌劳。（說明一下帚湘，這里面的H和Q函數(shù)都是關(guān)于 $\theta$ 的函數(shù)，每一次迭代 $\theta^{(g)}$ 是已知的甚淡，他不是變量）

那下面只要證明 $H(\theta^{(g+1)},\theta^{(g)})\leq H(\theta^{(g)},\theta^{(g)})$ 就可以了大诸。

$H(\theta^{(g)},\theta^{(g)})-H(\theta,\theta^{(g)})$
$=\int_{\boldsymbol z}log(p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x))p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z-\int_{\boldsymbol z}log(p_\theta(\boldsymbol z|\boldsymbol x))p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z$
$=-\int_{\boldsymbol z}log\left(\frac{p_\theta(\boldsymbol z|\boldsymbol x)}{p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)}\right)p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z$
$\geq-log\left(\int_{\boldsymbol z}\frac{p_\theta(\boldsymbol z|\boldsymbol x)}{p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)}p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z\right )$
$=-log\left(\int_{\boldsymbol z}p_\theta(\boldsymbol z|\boldsymbol x)d\boldsymbol z\right)=-log(1)=0$

因此可以得到 $H(\theta^{(g+1)},\theta^{(g)})\leq H(\theta^{(g)},\theta^{(g)})$ ，則整個EM算法的收斂性證畢贯卦。

注：這里用到了Jessian不等式资柔，如果函數(shù)是convex的，則有函數(shù)的期望大于期望的函數(shù)撵割，即 $E[f(x)]\geq f(E[x])$ .

圖3 Jessian不等式示例

EM算法與ELOB和KL散度

上述EM算法的證明贿堰，有一些技巧性，而這些技巧性有沒有一種是在已知結(jié)論基礎(chǔ)上硬湊的感覺呢啡彬，尤其是用 $p_{\theta^{(g)}}(\boldsymbol z| \boldsymbol x)$ 去求期望羹与，就是為了去構(gòu)造Q函數(shù)。那有沒有更好的解釋或者更為直觀的方式來得到相同的結(jié)論呢庶灿？答案是有的纵搁。

首先，仍然用到：
$log(p_ {\theta}(\boldsymbol x))=log(p_\theta(\boldsymbol x,\boldsymbol z))-log(p_\theta(\boldsymbol z|\boldsymbol x))$
我們稍微變個型往踢，假設(shè)一個概率密度函數(shù) $q(\boldsymbol z)$ :
$log(p_ {\theta}(\boldsymbol x))=log\left(\frac{p_\theta(\boldsymbol x,\boldsymbol z)}{q(\boldsymbol z)}\right)-log\left(\frac{p_\theta(\boldsymbol z|\boldsymbol x)}{q(\boldsymbol z)}\right)$
兩邊同時用 $q(\boldsymbol z)$ 求期望：
$log(p_ {\theta}(\boldsymbol x))=\int_{\boldsymbol z}log\left(\frac{p_\theta(\boldsymbol x,\boldsymbol z)}{q(\boldsymbol z)}\right)q(\boldsymbol z)d\boldsymbol z-\int_{\boldsymbol z}log\left(\frac{p_\theta(\boldsymbol z|\boldsymbol x)}{q(\boldsymbol z)}\right)q(\boldsymbol z)d\boldsymbol z$

其中等式右邊第一項腾誉，我們記做 $\mathcal L(q,\theta)$ ，可以稱為ELOB菲语，EvidenceLowerBound妄辩，第二項是 $q(\boldsymbol z)$ 和 $p_\theta(\boldsymbol z|\boldsymbol x)$ 的KL散度。

圖4 似然函數(shù)與ELOB和KL散度

如圖4所示山上，當(dāng)我固定參數(shù) $\theta$ 時候眼耀，ELOB就是關(guān)于 $q$ 的泛函（只聽過沒學(xué)過，可理解為函數(shù)的函數(shù)）佩憾，那ELOB的上界是什么呢哮伟？那首先要理解KL散度干花，KL散度是衡量兩個概率分布之間的差異性，如果兩個分布沒有差異楞黄，則KL散度等于0池凄，如果有差異則大于0，所以KL散度的最小值就是0鬼廓，那ELOB的上界就是此刻的似然函數(shù)肿仑。

在EM算法中，當(dāng)前迭代時碎税，參數(shù) $\theta^{(g)}$ 尤慰，則對于E-step，我們需要使得ELOB最大雷蹂，即KL散度為0伟端，如圖5所示，其中 $\theta^{old}$ 為 $\theta^{(g)}$ 匪煌。此時责蝠， $q(\boldsymbol z) = p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)$

圖5 EM算法 E-step

對于M-Step，我們是需要得到新的估計參數(shù)萎庭，這個時候霜医，固定 $q(\boldsymbol z)$ ,重新獲得ELOB的最大值，這個時候的ELOB是什么樣的呢擎椰？
$\mathcal L(q,\theta)=\int_{\boldsymbol z}log\left(\frac{p_\theta(\boldsymbol x,\boldsymbol z)}{q(\boldsymbol z)}\right)q(\boldsymbol z)d\boldsymbol z$
$=\int_{\boldsymbol z}log\left(p_\theta(\boldsymbol x,\boldsymbol z)\right)p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z-\int_{\boldsymbol z}log\left(p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)\right)p_{\theta^{(g)}}(\boldsymbol z|\boldsymbol x)d\boldsymbol z$
右邊第二項沒有參數(shù) $\theta$ 支子，所以固定 $q$ 最大化ELOB，就等于最大化第一項达舒，而第一項是什么呢值朋？就是 $Q$ 函數(shù)。

圖6 EM算法M-step

如圖6所示巩搏，我們最大化 $Q$ 函數(shù)昨登，也就是最大化此次迭代的ELOB。在新的參數(shù)下贯底， $\mathcal L(q,\theta^{(g+1)}) \geq \mathcal L(q,\theta^{(g)})$ 丰辣，此刻 $q$ 不變，所以和新的 $p_{\theta^{(g+1)}}(\boldsymbol z|\boldsymbol x)$ 在沒有達(dá)到局部（或者全局）極大值的情況下禽捆，是兩個不同的概率分布笙什，即二者KL散度是大于0的，那此刻的似然函數(shù)等于此刻的KL散度加上此刻的ELOB胚想，自然是有 $p_{\theta^{(g+1)}}(\boldsymbol x)\geq p_ {\theta^{(g)}}(\boldsymbol x)$ 琐凭。

從ELOB和KL散度的層面可以更好的理解EM算法的迭代過程。

PRML一書中浊服，有圖7所示的示意圖统屈，能比較形象的說明胚吁，EM算法的迭代過程。

圖7 EM算法迭代示意

圖7中愁憔，紅色曲線表示(不完整數(shù)據(jù))對數(shù)似然函數(shù)腕扶，它的最大值是我們想要得到的。我們首先選擇某個初始的參數(shù)值 $\theta^{old}$ ,然后在第一個E步驟中,我們計算潛在變量上的后驗概率分布,得到了 $\mathcal L(q, \theta^{old})$ 的一個更小的下界吨掌，它的值等于在 $\theta^{old}$ 處的對數(shù)似然函數(shù)值半抱，用藍(lán)色曲線表示。注意膜宋，下界與對數(shù)似然函數(shù)在 $\theta^{old}$ 處以切線的方式連接代虾，因此兩條曲線的梯度相同。這個界是一個凹函數(shù)激蹲，對于指數(shù)族分布的混合分布來說，有唯一的最大值江掩。在M步驟中,下界被最大化学辱，得到了新的值 $\theta^{new}$ ,這個值給出了比 $\theta^{old}$ 處更大的對數(shù)似然函數(shù)值。接下來的E步驟構(gòu)建了一個新的下界,它在 $\theta^{new}$ 處與對數(shù)似然函數(shù)切線連接,用綠色曲線表示环形。以這樣的方式不停迭代策泣，直到滿足條件。

高斯混合模型EM算法推導(dǎo)

了解了EM算法抬吟，我們來詳細(xì)推導(dǎo)高斯混合模型的E步和M步的內(nèi)容萨咕。這一部分內(nèi)容來自徐亦達(dá)老師的課件。由于公式太多了火本，我就放一些截圖危队，供大家一起學(xué)習(xí)和參考。

徐亦達(dá)老師的課件在：https://github.com/roboticcam/machine-learning-notes/blob/master/em.pdf

后續(xù)關(guān)于EM算法的應(yīng)用會舉例以下幾方面內(nèi)容
(1)Kmeans和高斯混合模型
(2)EM算法應(yīng)用之貝葉斯線性回歸
(3)EM算法應(yīng)用之PLSA
(4)EM算法應(yīng)用之缺失數(shù)據(jù)參數(shù)估計問題

最后編輯于：2021.05.04 16:14:16

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末钙畔，一起剝皮案震驚了整個濱河市茫陆，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌擎析，老刑警劉巖簿盅，帶你破解...
沈念sama閱讀 216,651評論 6贊 501
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異揍魂，居然都是意外死亡桨醋，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,468評論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門现斋，熙熙樓的掌柜王于貴愁眉苦臉地迎上來喜最，“玉大人，你說我怎么就攤上這事步责》邓常” “怎么了禀苦？”我有些...
開封第一講書人閱讀 162,931評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長遂鹊。經(jīng)常有香客問我振乏，道長，這世上最難降的妖魔是什么秉扑？我笑而不...
開封第一講書人閱讀 58,218評論 1贊 292
?港島之戀（遺憾婚禮）
正文為了忘掉前任慧邮，我火速辦了婚禮，結(jié)果婚禮上舟陆，老公的妹妹穿的比我還像新娘误澳。我一直安慰自己，他們只是感情好秦躯，可當(dāng)我...
茶點故事閱讀 67,234評論 6贊 388
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布忆谓。她就那樣靜靜地躺著，像睡著了一般踱承。火紅的嫁衣襯著肌膚如雪倡缠。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,198評論 1贊 299
城市分裂傳說
那天茎活，我揣著相機(jī)與錄音昙沦，去河邊找鬼。笑死载荔，一個胖子當(dāng)著我的面吹牛盾饮，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播懒熙，決...
沈念sama閱讀 40,084評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼丘损，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了煌珊？” 一聲冷哼從身側(cè)響起号俐，我...
開封第一講書人閱讀 38,926評論 0贊 274
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎定庵，沒想到半個月后吏饿，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,341評論 1贊 311
?護(hù)林員之死
正文獨居荒郊野嶺守林人離奇死亡蔬浙，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,563評論 2贊 333
?白月光啟示錄
正文我和宋清朗相戀三年猪落，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片畴博。...
茶點故事閱讀 39,731評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡笨忌，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出俱病，到底是詐尸還是另有隱情官疲，我是刑警寧澤袱结，帶...
沈念sama閱讀 35,430評論 5贊 343
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站途凫，受9級特大地震影響垢夹，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜维费，卻給世界環(huán)境...
茶點故事閱讀 41,036評論 3贊 326
男人毒藥：我在死后第九天來索命
文/蒙蒙一果元、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧犀盟，春花似錦而晒、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,676評論 0贊 22
一樁弒父案倡怎，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至贱枣，卻和暖如春诈胜，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背冯事。一陣腳步聲響...
開封第一講書人閱讀 32,829評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留血公，地道東北人昵仅。一個月前我還...
沈念sama閱讀 47,743評論 2贊 368
代替公主和親
正文我出身青樓，卻偏偏與公主長得像累魔，于是被迫代替她去往敵國和親摔笤。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 44,629評論 2贊 354