機(jī)器學(xué)習(xí)算法深度總結(jié)(3)-最小二乘

1. 最小二乘學(xué)習(xí)法

最小二乘學(xué)習(xí)法(后續(xù)簡(jiǎn)稱二乘法)是對(duì)模型輸出和訓(xùn)練集輸出的殘差的平方和最小時(shí)的參數(shù) $\theta$ 進(jìn)行學(xué)習(xí):
$J_{LS}(\theta) = \frac{1}{2}\sum_{i=1}^n(f_\theta(x_i)-y_i)^2$
優(yōu)化目標(biāo):
$\hat{\theta}_{LS} = \underset{\theta}{argmin}J_{LS}(\theta)$
二乘法也稱L2損失最小化學(xué)習(xí)法.

線性模型 $f_\theta(x) = \sum_{j=1}^b\theta_j\phi_j(x) = \theta^T\phi(x)$ 訓(xùn)練樣本的殘差平方 $J_{LS}$ 表示如下:
$J_{LS}(\theta)= \frac{1}{2}\|\Phi\theta-y\|^2$
其中, $y=(y_1,\cdots,y_n)^T$ 是訓(xùn)練輸出的n維行向量, $\Phi$ 是基函數(shù)的nxb設(shè)計(jì)矩陣:
$\Phi= \begin{pmatrix} \phi_1(x_1) & \cdots & \phi_b(x_1) \\ \vdots & \ddots & \vdots \\ \phi_1(x_n) & \cdots & \phi_b(x_1n \end{pmatrix} = (\phi(x1), \cdots, \phi(x_n))$
也是輸入數(shù)據(jù)的基函數(shù)向量向量組成的列向量矩陣.
求平方差 $J_{LS}(\theta)$ 的參數(shù)向量 $\theta$ 的偏微分:
$\nabla_{\theta}J_{LS} = (\frac{\partial J_{LS}}{\partial \theta_1}, \cdots, \frac{\partial J_{LS}}{\partial \theta_b})= \Phi^T\Phi\theta-\Phi^T\mathbf y$
上式推導(dǎo):

常用的矩陣求導(dǎo)公式:

改寫為向量積
$2J_{LS}(\theta)= \|\Phi\theta-y\|^2 = (\Phi\theta-y)^T(\Phi\theta-y)$

2.展開多項(xiàng)式
$2J_{LS}(\theta)= y^Ty - 2\theta^T\Phi^Ty + \theta^T\Phi^T\Phi\theta$

對(duì)第二項(xiàng)求關(guān)于 $\theta$ 的導(dǎo)數(shù):
根據(jù)矩陣求導(dǎo)公式:
$\nabla_{x}(x^TA) = A$
故
$\nabla_{\theta}(2\theta^T\Phi^Ty) = 2\Phi^Ty$

對(duì)第三項(xiàng)求 $\theta$ 的導(dǎo)數(shù):
根據(jù)矩陣求導(dǎo)公式:
$\nabla_{x}(x^TAx) = Ax+A^Tx$
故
$\nabla_{\theta}(\theta^T\Phi^T\Phi\theta) = (\Phi^T\Phi)\theta+(\Phi^T\Phi)^T\theta = 2\Phi^T\Phi\theta \; \;\cdots(\Phi^T\Phi是對(duì)稱矩陣, 有\(zhòng)Phi^T=\Phi)$
第一項(xiàng)求 $\theta$ 的導(dǎo)數(shù)為0, 故:
$J_{LS}(\theta)=\Phi^T\Phi\theta-\Phi^Ty$
得證.

$\nabla \theta_{LS}=0$ 時(shí) $J_{LS}(\theta)$ 取得最小值, 此時(shí)最小二乘解滿足 $\Phi^T\Phi \theta=\Phi^T\mathbf y$
解得:
$\hat \theta_{LS} = (\Phi^T\Phi)^{-1}\Phi^Ty$
廣義逆矩陣: 是對(duì)逆矩陣的推廣, 只有方陣, 非奇異矩陣才有逆矩陣, 單矩形矩陣或奇異矩陣都可以定義廣義逆矩陣.
令廣義逆矩陣為:
$\Phi^+ = (\Phi^T\Phi)^{-1}\Phi^T$
, 則 $\hat \theta_{LS}$ 可寫為:
$\hat \theta_{LS} = \Phi ^+y$

2. 最小二乘解的性質(zhì)

補(bǔ)充知識(shí): 奇異值分解

矩陣A( $m\times n$ )的SVD定義為:
$A = U \Sigma V^T \;(此處A不要求是方陣)$
奇異值在 $\Sigma$ 主對(duì)角線上. U和V均為酋矩陣, 滿足 $U^TU = I$ , $V^TV=I$
SVD分解步驟:
①對(duì) $A^TA$ ( $n\times n$ )方陣(做特征分解: $(A^TA)v_i = \lambda_iv_i$ , 所有特征向量組成V矩陣, V中的每個(gè)特征向量 $v_i$ 為右奇異向量
②對(duì) $AA^T$ ( $m\times m$ )方陣做特征分解: $(AA^T)u_i = \lambda_iu_i$ , 所有特征向量組成U矩陣, U中的每個(gè)特征向量 $U_i$ 為右奇異向量
③奇異值矩陣 $\Sigma$ 為對(duì)角矩陣, 每個(gè)奇異值 $\sigma_i=\sqrt{\lambda_i}$ , $\lambda_i$ 為左奇異矩陣 $A^TA$ 中奇異向量對(duì)應(yīng)的特征值

設(shè)計(jì)矩陣 $\Phi$ (線性模型的基函數(shù)矩陣)的奇異值分解:
$\phi = \sum_{k=1}^{min(n,b)}\kappa_k\psi_{k} \varphi_k^T$
$\kappa_k, \psi_{k}, \varphi_k$ 分別稱為奇異值, 左奇異向量, 右奇異向量.

奇異值非負(fù)
奇異向量滿足正交性

$\Phi$ 的廣義逆矩陣:
$\Phi^+ =\sum_{k=1}^{min(n,b)}\kappa_k^+\psi_{k} \varphi_k^T$
$\kappa _k^+$ 是標(biāo)量 $\kappa$ 的廣義逆矩陣, $\kappa^+ = \frac{1}{\kappa} (\kappa \neq 0時(shí))$
最小二乘解表示為:
$\hat \theta_{LS}= \sum_{k=1}^{min(n,b)}\kappa_k^+(\psi_{k}^Ty) \varphi_k$
模型輸出向量變換為列向量:
$(f_{\hat \theta_{LS}}(x_1), \cdots, f_{\hat \theta_{LS}}(x_n))^T = \Phi\hat \theta_{LS} = \Phi\Phi^+\mathbf{y}$
因此, $\Phi\Phi^+$ 是 $\Phi$ 的正交投影矩陣, 最小二乘法輸出向量 $\mathbf y$ 是值域 $R(\Phi)$ 的正交投影得到的.

帶入真實(shí)函數(shù)中的參數(shù) $\theta^*$ :
$(f(x_1), \cdots, f(x_n))^T = \Phi \theta^*$
可知, 真的輸出值向量就存在于 $R(\Phi)$ 中
結(jié)論: 用最小二乘法的向量若是由 $R(\Phi)$ 的正投影得到的, 則可以有效去除y中的噪音.
噪聲期望E為0是, $\hat \theta_{LS}$ 就是真是參數(shù) $\theta^*$ 的無偏估計(jì):
$E[\hat \theta_{LS}] = \theta^*$
漸近無偏性:
增加訓(xùn)練樣本n, 上式 $E[\hat \theta_{LS}]$ 會(huì)向著模型中最優(yōu)參數(shù)方向收斂的性質(zhì)

補(bǔ)充知識(shí): 投影矩陣

投影到向量

向量b在向量a上的投影 $(b)_a=\hat{x}a$ , 其中 $\hat{x}=\frac{a\cdot b}{a^\top a}$ (a,b均為向量)
$\hat{x}$ 求解:
設(shè)b在a直線上的投影為 $p=\hat{x}a$ , 作直線a的垂線直線e, 則e為向量b到向量p的最短距離, 且 $e=b-p$ .
$e\cdot a = a^T (b-p) = a^T\cdot b - \hat{x}a^T \cdot a = 0 \Rightarrow \hat{x} = \frac{a^T\cdot b}{a^T \cdot a}$

投影到子空間
若投影p, 向量b, 矩陣P滿足 $p=Pb$ , 則稱P為投影矩陣. 將 $p=\hat{x}a$ 改寫一下, $p=\frac{a^T\cdot b}{a^T \cdot a} a = (\frac{a^T\cdot a}{a^T \cdot a}) b$ , 可將投影向量看做秩為1的投影矩陣P.

投影矩陣的兩個(gè)典型的性質(zhì)
① P是一個(gè)對(duì)稱矩陣
②它的平方等于它自身：P2=P

3. 帶約束的最小二乘

L2約束也稱L2正則化, 回歸問題里也叫嶺回歸(Ridge Regression),也叫權(quán)重衰減(weight decay), 可改善模型的過擬合.
L1約束也叫"稀疏規(guī)則算子"(Lasso regularization), 模型參數(shù)太多時(shí), 模型求解耗時(shí)太多, 稀疏學(xué)習(xí)可將大部分參數(shù)置為0, 從而快速求解.

L1和L2約束二乘的參數(shù)空間:

1. L2約束二乘

約束條件如下:
$\underset{\theta}{\min}J_{LS}(\theta)\quad 約束條件\|\theta\|^2 \leq R$
L2參數(shù)空間, 是一個(gè)參數(shù)空間原點(diǎn)為圓心,R為半徑內(nèi)的圓(一般為超球):

引入拉格朗日對(duì)偶問題:

利用拉格朗日對(duì)偶問題, 求解:
$\underset{\lambda}{\max}\min[J_{LS}(\theta) + \frac{\lambda}{2}(\|\theta\|^2-R)]\;s.t. \lambda \ge 0$
的最優(yōu)解問題, 可得到最優(yōu)化問題 $\underset{\theta}{\min}J_{LS}(\theta)$ 的解, 上式中拉格朗日待定因子 $\lambda$ 的解由圓半徑R決定

簡(jiǎn)化版(不由R決定 $\lambda$ ):
$\hat \theta = \underset{\theta}{argmin}[J_{LS}(\theta)+\frac{\lambda}{2}\|\theta\|^2] \; s.t. \lambda \ge 0$
上式 $J_{LS}(\theta)$ 表示對(duì)樣本擬合程度, 與 $\frac{\lambda}{2}\|\theta\|^2$ 組合得到最小值, 防止過擬合

L2約束的LS關(guān)于 $\theta$ 的微分可通過下式求解:

$\hat J_{LS}(\theta)= J_{LS}(\theta) + \frac{\lambda}{2}\|\theta\|^2 = \frac{1}{2}(\Phi\theta-y)^T(\Phi\theta-y) + \frac{\lambda}{2}\theta^T\theta \quad (1)$

$\nabla_\theta J_{LS}$ 上文已經(jīng)求過:

$\nabla_\theta J_{LS} = \Phi^T\Phi\theta-\Phi^Ty \quad (2)$

$\nabla_\theta \theta^T\theta$ 根據(jù)矩陣求導(dǎo)公式:

$\nabla_\theta \theta^T\theta = 2\theta \quad(3)$
綜合(2)(3)求(1)中關(guān)于 $\theta$ 的微分:
$\nabla_\theta \hat J_{LS}(\theta)=\Phi^T\Phi\theta-\Phi^Ty + 2 \lambda \theta = (\Phi^T\Phi +\lambda I)\lambda -\Phi^Ty$

令關(guān)于 $\theta$ 的導(dǎo)數(shù)為0, L2約束的LS的解 $\theta$ 為:
$\hat \theta = (\Phi^T\Phi+\lambda I)^{-1}\Phi^T\mathbf y$

上式結(jié)論:

將矩陣 $\Phi^T\Phi和\lambda I$ 相加提高其正則性, 進(jìn)而更穩(wěn)定地進(jìn)行逆矩陣求解.
L2約束的LS也稱為L(zhǎng)2正則化的LS, 式(1)中的 $\|\theta\|^2$ 稱為正則項(xiàng), $\lambda$ 為正則化參數(shù)
L2正則化有時(shí)也稱嶺回歸

將設(shè)計(jì)矩陣 $\Phi$ 做奇異值分解:
$\Phi = \sum_{k=1}^{\min(n,b)}\kappa_k\psi_k\varphi_k^T$

帶入上上式, 則L2約束的LS解 $\hat \theta$ 表示為:
$\hat \theta = \sum_{k=1}^{\min(n,b)} \frac{\kappa_k}{\kappa_k^2+\lambda}\psi_k^Ty\varphi_k$
上式結(jié)論:

$\lambda=0$ 時(shí), L2約束的LS蛻化為一般的LS
設(shè)計(jì)矩陣 $\Phi$ 計(jì)算條件惡劣,包含極小的奇異值 $K_k$ 時(shí), $K_k/K_k^2=1/K_k$ 變得極大, 訓(xùn)練輸出y的噪聲會(huì)增加
分母 $\kappa_k^2$ 中加入正的常數(shù) $\lambda$ , 避免 $\kappa_k/(\kappa_k^2+\lambda)$ 過大, 進(jìn)而可防止過擬合

拓展: 更一般L2約束的LS

更一般的L2約束LS使用 $b \times b$ 正則化矩陣G, 可得到更一般的表示:

問題表示:
$\underset{\theta}{\min}J_{LS}(\theta)\ s.t. \ \theta^TG\theta \le R$
$\hat \theta$ 求解:
更一般的L2約束的LS解 $\theta$ 求解過程, 和標(biāo)準(zhǔn)L2約束的LS大體相同:
$\hat \theta = (\Phi^T\Phi + \lambda G)^{-1}\Phi^Ty$

參數(shù)空間:
矩陣G對(duì)稱正定時(shí), $\theta^TG\theta \leq R$ 將數(shù)據(jù)限制在橢圓區(qū)域內(nèi). 下圖為更一般的L2約束的LS參數(shù)空間:

模型選擇

部分空間約束或L2約束的LS, 都過分依賴正交投影矩陣P和 正則化參數(shù)λ的選擇
選擇合適的P和λ至關(guān)重要
采用不同的輸入樣本, 決定算法中各個(gè)參數(shù)值的過程稱為模型選擇

2. L1約束二乘

L1約束二乘的參數(shù)空間:

稀疏學(xué)習(xí)中常用L1進(jìn)行條件約束:

$\underset{\theta}{\min}J_{LS}(\theta)\quad 約束條件\|\theta\|_1 \leq R$
其中, $\|\theta\|_1=\sum_{j=1}^窗声|\theta_j|$
再回顧L1和L2約束二乘的參數(shù)空間:

以含參線性模型為例對(duì)上圖做分析:

$f_{\theta} = \sum_{j=1}^b\theta_j\phi_j(x) =\theta^T\phi(x)$

訓(xùn)練誤差 $J_{LS}$ 是關(guān)于 $\theta$ 的向下的二次凸函數(shù), 因此 $J_{LS}$ 在參數(shù)空間內(nèi)有橢圓狀等高線, 底部是最小二乘解 $\hat \theta_{LS}$
$\hat \theta_{L_2CLS}$ :橢圓等高線和圓周交點(diǎn)是L2約束LS的解 $\hat \theta_{LS}$ , 即 $L_2$ -Constrained Least Squares
$\hat \theta_{L_1CLS}$ :橢圓等高線和菱形的角的焦點(diǎn)是L1約束LS的解 $\hat \theta$ , L1約束LS的解一定位于參數(shù)的軸上

L1約束二乘求解

L1范數(shù)包含原點(diǎn)處不可微分的絕對(duì)值, 故不能像L2約束那樣簡(jiǎn)單求解:

下面通過利用拉格朗日對(duì)偶問題求解, 考慮L1正則化的最優(yōu)化問題:
$\underset{\theta}{\min}J(\theta), J(\theta) = J_{LS}(\theta) + \lambda\|\theta\|_1$

L1范數(shù)原點(diǎn)不能微分, 用微分的二次函數(shù)控制:
$|\theta_j| <= \frac{\theta_j^2}{2c_j}+\frac{c_j}{2}, \forall c_j > 0$

函數(shù)如圖:

L2正則化LS一般表達(dá)式:
$\hat \theta = \underset{\theta}{argmin}\tilde{J}(\theta), \tilde J(\theta) = J_{LS}(\theta)+\frac{\lambda}{2}\theta^T\tilde{\Theta}^+\theta + C$

線性模型 $f_{\theta}(x)=\theta^T\phi(x)$ 的解 $\hat \theta$ :
$\hat \theta =(\Phi^T\Phi+\lambda\Theta^+)^{-1}\Phi^Ty$
現(xiàn)在的解 $\Theta=\tilde\Theta$ 的情況下阶界，絕對(duì)值函數(shù)也是與二次函數(shù)的上界相外切的婚肆，因此彪蓬， $J(\tilde \theta)=\tilde J(\tilde \theta)$ 是成立的。另外硝全， $\hat \theta$ 是 $\tilde J$ 為最小的時(shí)候取到的役电， $\tilde J(\hat \theta) \ge \tilde J(\hat \theta)$ 也是成立的。由于 $\tilde J(\theta)$ 是J的上界, 因此 $\tilde J(\hat \theta) \ge J(\hat \theta)$ 也是成立的蜀撑，綜上可得:
$J(\tilde\theta) = \tilde J(\tilde \theta) \ge \tilde J(\hat \theta) \ge J(\hat \theta)$
可見, 更新后的解 $\hat \theta)$ 比現(xiàn)在的解 $\tilde \theta)$ 更收斂, 具體如下圖所示：

給定適當(dāng)?shù)某跏贾捣磸?fù)更新這個(gè)解, l1約束二乘的解就可使用l2約束二乘法來求得.

3.Lp約束二乘

$L_p$ 范數(shù):
$\|\theta\|_p = (\sum_{j=1}^b|\theta_j|^P)^{\frac{1}{p}} \le R$
$p=\infty$ 時(shí)稱最大值范數(shù): $\|\theta\|_{\infty} = \max\{|\theta_1|,\cdots,|\theta_b|\}$
p=0時(shí)L_0范數(shù)表示非零向量元素個(gè)數(shù):
$\|\theta\|_0 = \sum_{j=1}^b\delta(\theta_j \ne 0), \delta(\theta_j \ne 0) = \begin{cases} 1& (\theta_j \ne 0) \\ 0&(\theta_j = 0) \end{cases}$

$L_p$ 范數(shù)的單位球(R=1):

分析:

$p \leq 1$ 時(shí),坐標(biāo)軸上呈現(xiàn)有峰值的尖形
$p \geq 1$ 時(shí),單位球呈現(xiàn)凸形

稀疏解存在的特殊條件:
1.約束空間為凸形(非凸優(yōu)化困難)
2.坐標(biāo)軸上呈現(xiàn)有峰值的尖形

就像上圖展示的那樣，在坐標(biāo)軸上呈有峰值的尖形是存在稀疏解的秘訣剩彬。另一方面酷麦，滿足約束條件的空間如果不是凸型的話，可能存在局部最優(yōu)解喉恋，但是最優(yōu)化工作就會(huì)變得異常艱難沃饶。因此母廷，當(dāng)p=1時(shí)是稀疏解存在的唯一的凸型，由此可知糊肤，L1約束的最小二乘學(xué)習(xí)法是非常特殊的一種學(xué)習(xí)方法琴昆。

滿足Lp范數(shù)的約束條件的空間性質(zhì):

4. 彈性網(wǎng)絡(luò)(L1+L2)

L1約束的限制:

參數(shù)b比訓(xùn)練樣本n多時(shí), 線性模型可選擇的最大特征數(shù)被局限為n
線性模型中形成集群構(gòu)造(有多個(gè)基函數(shù)相似的集合)時(shí), $L_1$ LS選擇一個(gè)忽略其它, 核模型輸入樣本是簇構(gòu)造是更易形成集群構(gòu)造
參數(shù)b比樣本n少時(shí), $L_1$ 的通用性比 $L_2$ 更差

$\tau=0.5$ 時(shí), L1+L2范數(shù)的單位球如下圖所示(黑實(shí)線)：

由圖可見, $\tau=0.5$ 時(shí)L1+L2范數(shù)的單位球和 $L_{1.4}$ 范數(shù)的單位球形狀完全相同, 然而, 如果用放大鏡放大角的部分, 會(huì)發(fā)現(xiàn) $L_{1.4}$ 范數(shù)的單位球像L2那樣平滑, 但是L1+L2范數(shù)的單位球則像L1范數(shù)那樣呈尖形.
因此L1+L2范數(shù)約束也會(huì)想L1范數(shù)約束那樣容易求得稀疏解.

此外, 另外，即使參數(shù)b比訓(xùn)練樣本數(shù)n還要多馆揉，L1+L2約束的最小二乘學(xué)習(xí)法也可以擁有n個(gè)以上的非零參數(shù)业舍。另外，當(dāng)基函數(shù)為集合構(gòu)造的時(shí)候升酣，經(jīng)常會(huì)以集合為單位對(duì)基函數(shù)進(jìn)行選擇舷暮，實(shí)驗(yàn)證明：L1+L2約束的最小二乘學(xué)習(xí)法比L1約束的最小二乘學(xué)習(xí)法具有更高的精度。然而噩茄，除了加入正則化參數(shù)λ之外下面，為了調(diào)整L1范數(shù)和L2范數(shù)的平衡，還需要引入?yún)?shù)T绩聘，這也是L1+L2約束最小二乘學(xué)習(xí)法在實(shí)際中所面臨的問題诸狭。

最后編輯于：2018.10.08 13:02:38

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市君纫，隨后出現(xiàn)的幾起案子驯遇，更是在濱河造成了極大的恐慌，老刑警劉巖蓄髓，帶你破解...
沈念sama閱讀 221,695評(píng)論 6贊 515
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件叉庐，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡会喝，警方通過查閱死者的電腦和手機(jī)陡叠，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 94,569評(píng)論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來肢执，“玉大人枉阵，你說我怎么就攤上這事≡で眩” “怎么了兴溜？”我有些...
開封第一講書人閱讀 168,130評(píng)論 0贊 360
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長(zhǎng)耻陕。經(jīng)常有香客問我拙徽，道長(zhǎng)，這世上最難降的妖魔是什么诗宣？我笑而不...
開封第一講書人閱讀 59,648評(píng)論 1贊 297
?港島之戀（遺憾婚禮）
正文為了忘掉前任膘怕，我火速辦了婚禮，結(jié)果婚禮上召庞，老公的妹妹穿的比我還像新娘岛心。我一直安慰自己来破，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 68,655評(píng)論 6贊 397
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布忘古。她就那樣靜靜地躺著讳癌，像睡著了一般。火紅的嫁衣襯著肌膚如雪存皂。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 52,268評(píng)論 1贊 309
城市分裂傳說
那天逢艘，我揣著相機(jī)與錄音旦袋，去河邊找鬼。笑死它改，一個(gè)胖子當(dāng)著我的面吹牛疤孕，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播央拖，決...
沈念sama閱讀 40,835評(píng)論 3贊 421
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼祭阀，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來了鲜戒？” 一聲冷哼從身側(cè)響起专控，我...
開封第一講書人閱讀 39,740評(píng)論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎遏餐，沒想到半個(gè)月后伦腐，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 46,286評(píng)論 1贊 318
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡失都，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 38,375評(píng)論 3贊 340
?白月光啟示錄
正文我和宋清朗相戀三年柏蘑，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片粹庞。...
茶點(diǎn)故事閱讀 40,505評(píng)論 1贊 352
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡咳焚，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出庞溜，到底是詐尸還是另有隱情革半，我是刑警寧澤，帶...
沈念sama閱讀 36,185評(píng)論 5贊 350
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布流码，位于F島的核電站督惰，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏旅掂。R本人自食惡果不足惜赏胚，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,873評(píng)論 3贊 333
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望商虐。院中可真熱鬧觉阅，春花似錦崖疤、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,357評(píng)論 0贊 24
一樁弒父案劫哼，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)。三九已至割笙，卻和暖如春权烧，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背伤溉。一陣腳步聲響...
開封第一講書人閱讀 33,466評(píng)論 1贊 272
情欲美人皮
我被黑心中介騙來泰國(guó)打工般码，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人乱顾。一個(gè)月前我還...
沈念sama閱讀 48,921評(píng)論 3贊 376
代替公主和親
正文我出身青樓板祝，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親走净。傳聞我的和親對(duì)象是個(gè)殘疾皇子券时，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,515評(píng)論 2贊 359