一分鐘內(nèi)檢查 Linux 服務(wù)器性能

通過執(zhí)行以下命令，可以在1分鐘內(nèi)對系統(tǒng)資源使用情況有個大致的了解。

  • uptime

  • dmesg | tail

  • vmstat 1

  • mpstat -P ALL 1

  • pidstat 1

  • iostat -xz 1

  • free -m

  • sar -n DEV 1

  • sar -n TCP,ETCP 1

  • top

    • 其 中一些命令需要安裝sysstat包男公，有一些由procps包提供耙考。這些命令的輸出艾岂，有助于快速定位性能瓶頸顺少，檢查出所有資源（CPU、內(nèi)存王浴、磁盤IO 等）的利用率（utilization）脆炎、飽和度（saturation）和錯誤（error）度量，也就是所謂的USE方法氓辣。

    下面我們來逐一介紹下這些命令秒裕，有關(guān)這些命令更多的參數(shù)和說明，請參照命令的手冊钞啸。

    uptime

    $?uptime

    23:51:26?up?21:31,??1?user,??load?average:?30.02,?26.43,?19.02

    這個命令可以快速查看機器的負載情況几蜻。在Linux系統(tǒng)中，這些數(shù)據(jù)表示等待CPU資源的進程和阻塞在不可中斷IO進程（進程狀態(tài)為D）的數(shù)量体斩。這些數(shù)據(jù)可以讓我們對系統(tǒng)資源使用有一個宏觀的了解梭稚。

    命 令的輸出分別表示1分鐘、5分鐘硕勿、15分鐘的平均負載情況哨毁。通過這三個數(shù)據(jù)枫甲，可以了解服務(wù)器負載是在趨于緊張還是趨于緩解源武。如果1分鐘平均負載很高扼褪，而 15分鐘平均負載很低，說明服務(wù)器正在命令高負載情況粱栖，需要進一步排查CPU資源都消耗在了哪里话浇。反之，如果15分鐘平均負載很高闹究，1分鐘平均負載較低幔崖， 則有可能是CPU資源緊張時刻已經(jīng)過去。

    上面例子中的輸出渣淤，可以看見最近1分鐘的平均負載非常高赏寇，且遠高于最近15分鐘負載，因此我們需要繼續(xù)排查當(dāng)前系統(tǒng)中有什么進程消耗了大量的資源价认⌒岫ǎ可以通過下文將會介紹的vmstat、mpstat等命令進一步排查用踩。

    dmesg丨tail

    $?dmesg?|?tail

    [1880957.563150]?perl?invoked?oom-killer:?gfp_mask=0x280da,?order=0,?oom_score_adj=0

    [...]

    [1880957.563400]?Out?of?memory:?Kill?process?18694?(perl)?score?246?or?sacrifice?child

    [1880957.563408]?Killed?process?18694?(perl)?total-vm:1972392kB,?anon-rss:1953348kB,?file-rss:0kB

    [2320864.954447]?TCP:?Possible?SYN?flooding?on?port?7001.?Dropping

    request.??Check?SNMP?counters.

    該命令會輸出系統(tǒng)日志的最后10行渠退。示例中的輸出，可以看見一次內(nèi)核的oom kill和一次TCP丟包脐彩。這些日志可以幫助排查性能問題碎乃。千萬不要忘了這一步。

    vmstat 1

    $?vmstat?1

    procs?---------memory----------?---swap--?-----io----?-system--?------cpu-----

    r??b?swpd???free???buff??cache???si???so????bi????bo???in???cs?us?sy?id?wa?st

    34??0????0?200889792??73708?591828????0????0?????0?????5????6???10?96??1??3??0??0

    32??0????0?200889920??73708?591860????0????0?????0???592?13284?4282?98??1??1??0??0

    32??0????0?200890112??73708?591860????0????0?????0?????0?9501?2154?99??1??0??0??0

    32??0????0?200889568??73712?591856????0????0?????0????48?11900?2459?99??0??0??0??0

    32??0????0?200890208??73712?591860????0????0?????0?????0?15898?4840?98??1??1??0??0

    ^C

    vmstat(8) 命令惠奸，每行會輸出一些系統(tǒng)核心指標(biāo)梅誓，這些指標(biāo)可以讓我們更詳細的了解系統(tǒng)狀態(tài)。后面跟的參數(shù)1佛南，表示每秒輸出一次統(tǒng)計信息证九，表頭提示了每一列的含義，這幾介紹一些和性能調(diào)優(yōu)相關(guān)的列：

    • r：等待在CPU資源的進程數(shù)共虑。這個數(shù)據(jù)比平均負載更加能夠體現(xiàn)CPU負載情況愧怜，數(shù)據(jù)中不包含等待IO的進程。如果這個數(shù)值大于機器CPU核數(shù)妈拌，那么機器的CPU資源已經(jīng)飽和拥坛。

    • free：系統(tǒng)可用內(nèi)存數(shù)（以千字節(jié)為單位），如果剩余內(nèi)存不足尘分，也會導(dǎo)致系統(tǒng)性能問題猜惋。下文介紹到的free命令，可以更詳細的了解系統(tǒng)內(nèi)存的使用情況培愁。

    • si著摔，so：交換區(qū)寫入和讀取的數(shù)量。如果這個數(shù)據(jù)不為0定续，說明系統(tǒng)已經(jīng)在使用交換區(qū)（swap）谍咆，機器物理內(nèi)存已經(jīng)不足禾锤。

    • us, sy, id, wa, st：這些都代表了CPU時間的消耗，它們分別表示用戶時間（user）摹察、系統(tǒng)（內(nèi)核）時間（sys）恩掷、空閑時間（idle）、IO等待時間（wait）和被偷走的時間（stolen供嚎，一般被其他虛擬機消耗）黄娘。

      • 上述這些CPU時間，可以讓我們很快了解CPU是否出于繁忙狀態(tài)克滴。一般情況下逼争，如果用戶時間和系統(tǒng)時間相加非常大，CPU出于忙于執(zhí)行指令劝赔。如果IO等待時間很長氮凝，那么系統(tǒng)的瓶頸可能在磁盤IO。

      示例命令的輸出可以看見望忆，大量CPU時間消耗在用戶態(tài)罩阵，也就是用戶應(yīng)用程序消耗了CPU時間。這不一定是性能問題启摄，需要結(jié)合r隊列稿壁，一起分析。

      mpstat-P ALL 1

      $?mpstat?-P?ALL?1

      Linux?3.13.0-49-generic?(titanclusters-xxxxx)??07/14/2015??_x86_64_?(32?CPU)

      07:38:49?PM??CPU???%usr??%nice???%sys?%iowait???%irq??%soft??%steal??%guest??%gnice??%idle

      07:38:50?PM??all??98.47???0.00???0.75????0.00???0.00???0.00????0.00????0.00????0.00???0.78

      07:38:50?PM????0??96.04???0.00???2.97????0.00???0.00???0.00????0.00????0.00????0.00???0.99

      07:38:50?PM????1??97.00???0.00???1.00????0.00???0.00???0.00????0.00????0.00????0.00???2.00

      07:38:50?PM????2??98.00???0.00???1.00????0.00???0.00???0.00????0.00????0.00????0.00???1.00

      07:38:50?PM????3??96.97???0.00???0.00????0.00???0.00???0.00????0.00????0.00????0.00???3.03

      [...]

      該命令可以顯示每個CPU的占用情況歉备，如果有一個CPU占用率特別高傅是，那么有可能是一個單線程應(yīng)用程序引起的。

      pidstat 1

      $?pidstat?1

      Linux?3.13.0-49-generic?(titanclusters-xxxxx)??07/14/2015????_x86_64_????(32?CPU)

      07:41:02?PM???UID???????PID????%usr?%system??%guest????%CPU???CPU??Command

      07:41:03?PM?????0?????????9????0.00????0.94????0.00????0.94?????1??rcuos/0

      07:41:03?PM?????0??????4214????5.66????5.66????0.00???11.32????15??mesos-slave

      07:41:03?PM?????0??????4354????0.94????0.94????0.00????1.89?????8??java

      07:41:03?PM?????0??????6521?1596.23????1.89????0.00?1598.11????27??java

      07:41:03?PM?????0??????6564?1571.70????7.55????0.00?1579.25????28??java

      07:41:03?PM?60004?????60154????0.94????4.72????0.00????5.66?????9??pidstat

      07:41:03?PM???UID???????PID????%usr?%system??%guest????%CPU???CPU??Command

      07:41:04?PM?????0??????4214????6.00????2.00????0.00????8.00????15??mesos-slave

      07:41:04?PM?????0??????6521?1590.00????1.00????0.00?1591.00????27??java07:41:04?PM?????0??????6564?1573.00???10.00????0.00?1583.00????28??java

      07:41:04?PM???108??????6718????1.00????0.00????0.00????1.00?????0??snmp-pass

      07:41:04?PM?60004?????60154????1.00????4.00????0.00????5.00?????9??pidstat

      ^C

      pidstat命令輸出進程的CPU占用率蕾羊，該命令會持續(xù)輸出喧笔，并且不會覆蓋之前的數(shù)據(jù)，可以方便觀察系統(tǒng)動態(tài)龟再。如上的輸出书闸，可以看見兩個JAVA進程占用了將近1600%的CPU時間，既消耗了大約16個CPU核心的運算資源利凑。

      iostat-xz 1

      $?iostat?-xz?1

      Linux?3.13.0-49-generic?(titanclusters-xxxxx)??07/14/2015??_x86_64_?(32?CPU)

      avg-cpu:??%user???%nice?%system?%iowait??%steal???%idle

      ?????????73.96????0.00????3.73????0.03????0.06???22.21

      Device:???rrqm/s???wrqm/s?????r/s?????w/s????rkB/s????wkB/s?avgrq-sz?avgqu-sz???await?r_await?w_await??svctm??%util

      xvda????????0.00?????0.23????0.21????0.18?????4.52?????2.08????34.37?????0.00????9.98???13.80????5.42???2.44???0.09

      xvdb????????0.01?????0.00????1.02????8.94???127.97???598.53???145.79?????0.00????0.43????1.78????0.28???0.25???0.25

      xvdc????????0.01?????0.00????1.02????8.86???127.79???595.94???146.50?????0.00????0.45????1.82????0.30???0.27???0.26

      dm-0????????0.00?????0.00????0.69????2.32????10.47????31.69????28.01?????0.01????3.23????0.71????3.98???0.13???0.04

      dm-1????????0.00?????0.00????0.00????0.94?????0.01?????3.78?????8.00?????0.33??345.84????0.04??346.81???0.01???0.00

      dm-2????????0.00?????0.00????0.09????0.07?????1.35?????0.36????22.50?????0.00????2.55????0.23????5.62???1.78???0.03

      [...]

      ^C

      iostat命令主要用于查看機器磁盤IO情況浆劲。該命令輸出的列，主要含義是：

      • r/s, w/s, rkB/s, wkB/s：分別表示每秒讀寫次數(shù)和每秒讀寫數(shù)據(jù)量（千字節(jié)）哀澈。讀寫量過大牌借，可能會引起性能問題。

      • await：IO操作的平均等待時間割按，單位是毫秒膨报。這是應(yīng)用程序在和磁盤交互時，需要消耗的時間，包括IO等待和實際操作的耗時现柠。如果這個數(shù)值過大院领，可能是硬件設(shè)備遇到了瓶頸或者出現(xiàn)故障。

      • avgqu-sz：向設(shè)備發(fā)出的請求平均數(shù)量晒旅。如果這個數(shù)值大于1，可能是硬件設(shè)備已經(jīng)飽和（部分前端硬件設(shè)備支持并行寫入）汪诉。

      • %util：設(shè)備利用率废恋。這個數(shù)值表示設(shè)備的繁忙程度，經(jīng)驗值是如果超過60扒寄，可能會影響IO性能（可以參照IO操作平均等待時間）鱼鼓。如果到達100%，說明硬件設(shè)備已經(jīng)飽和该编。

        • 如果顯示的是邏輯設(shè)備的數(shù)據(jù)迄本，那么設(shè)備利用率不代表后端實際的硬件設(shè)備已經(jīng)飽和。值得注意的是课竣，即使IO性能不理想嘉赎，也不一定意味這應(yīng)用程序性能會不好，可以利用諸如預(yù)讀取于樟、寫緩存等策略提升應(yīng)用性能公条。

        free -m

        $?free?-m

        ????????????total???????used???????free?????shared????buffers?????cached

        Mem:????????245998??????24545?????221453?????????83?????????59????????541

        -/+?buffers/cache:??????23944?????222053

        Swap:????????????0??????????0??????????0

        free命令可以查看系統(tǒng)內(nèi)存的使用情況，-m參數(shù)表示按照兆字節(jié)展示迂曲。最后兩列分別表示用于IO緩存的內(nèi)存數(shù)靶橱，和用于文件系統(tǒng)頁緩存的內(nèi)存數(shù)。需要注意的是路捧，第二行-/+ buffers/cache关霸，看上去緩存占用了大量內(nèi)存空間。

        這是Linux系統(tǒng)的內(nèi)存使用策略杰扫，盡可能的利用內(nèi)存队寇，如果應(yīng)用程序需要內(nèi)存，這部分內(nèi)存會立即被回收并分配給應(yīng)用程序章姓。因此英上，這部分內(nèi)存一般也被當(dāng)成是可用內(nèi)存。

        如果可用內(nèi)存非常少啤覆，系統(tǒng)可能會動用交換區(qū)（如果配置了的話）苍日，這樣會增加IO開銷（可以在iostat命令中提現(xiàn)），降低系統(tǒng)性能窗声。

        sar -n DEV 1

        $?sar?-n?DEV?1

        Linux?3.13.0-49-generic?(titanclusters-xxxxx)??07/14/2015?????_x86_64_????(32?CPU)

        12:16:48?AM?????IFACE???rxpck/s???txpck/s????rxkB/s????txkB/s???rxcmp/s???txcmp/s??rxmcst/s???%ifutil

        12:16:49?AM??????eth0??18763.00???5032.00??20686.42????478.30??????0.00??????0.00??????0.00??????0.00

        12:16:49?AM????????lo?????14.00?????14.00??????1.36??????1.36??????0.00??????0.00??????0.00??????0.00

        12:16:49?AM???docker0??????0.00??????0.00??????0.00??????0.00??????0.00??????0.00??????0.00??????0.00

        12:16:49?AM?????IFACE???rxpck/s???txpck/s????rxkB/s????txkB/s???rxcmp/s???txcmp/s??rxmcst/s???%ifutil

        12:16:50?AM??????eth0??19763.00???5101.00??21999.10????482.56??????0.00??????0.00??????0.00??????0.00

        12:16:50?AM????????lo?????20.00?????20.00??????3.25??????3.25??????0.00??????0.00??????0.00??????0.00

        12:16:50?AM???docker0??????0.00??????0.00??????0.00??????0.00??????0.00??????0.00??????0.00??????0.00

        ^C

        sar命令在這里可以查看網(wǎng)絡(luò)設(shè)備的吞吐率相恃。在排查性能問題時，可以通過網(wǎng)絡(luò)設(shè)備的吞吐量笨觅，判斷網(wǎng)絡(luò)設(shè)備是否已經(jīng)飽和拦耐。如示例輸出中耕腾，eth0網(wǎng)卡設(shè)備，吞吐率大概在22 Mbytes/s杀糯，既176 Mbits/sec扫俺，沒有達到1Gbit/sec的硬件上限。

        sar -n TCP,ETCP 1

        $?sar?-n?TCP,ETCP?1

        Linux?3.13.0-49-generic?(titanclusters-xxxxx)??07/14/2015????_x86_64_????(32?CPU)

        12:17:19?AM??active/s?passive/s????iseg/s????oseg/s

        12:17:20?AM??????1.00??????0.00??10233.00??18846.00

        12:17:19?AM??atmptf/s??estres/s?retrans/s?isegerr/s???orsts/s

        12:17:20?AM??????0.00??????0.00??????0.00??????0.00??????0.00

        12:17:20?AM??active/s?passive/s????iseg/s????oseg/s

        12:17:21?AM??????1.00??????0.00???8359.00???6039.00

        12:17:20?AM??atmptf/s??estres/s?retrans/s?isegerr/s???orsts/s

        12:17:21?AM??????0.00??????0.00??????0.00??????0.00??????0.00

        ^C

        sar命令在這里用于查看TCP連接狀態(tài)固翰，其中包括：

        • active/s：每秒本地發(fā)起的TCP連接數(shù)狼纬，既通過connect調(diào)用創(chuàng)建的TCP連接；

        • passive/s：每秒遠程發(fā)起的TCP連接數(shù)骂际，即通過accept調(diào)用創(chuàng)建的TCP連接疗琉；

        • retrans/s：每秒TCP重傳數(shù)量；

          • TCP連接數(shù)可以用來判斷性能問題是否由于建立了過多的連接歉铝，進一步可以判斷是主動發(fā)起的連接盈简，還是被動接受的連接。TCP重傳可能是因為網(wǎng)絡(luò)環(huán)境惡劣太示，或者服務(wù)器壓力過大導(dǎo)致丟包柠贤。

          top

          $?top

          top?-?00:15:40?up?21:56,??1?user,??load?average:?31.09,?29.87,?29.92

          Tasks:?871?total,???1?running,?868?sleeping,???0?stopped,???2?zombie

          %Cpu(s):?96.8?us,??0.4?sy,??0.0?ni,??2.7?id,??0.1?wa,??0.0?hi,??0.0?si,??0.0?st

          KiB?Mem:??25190241+total,?24921688?used,?22698073+free,????60448?buffers

          KiB?Swap:????????0?total,????????0?used,????????0?free.???554208?cached?Mem

          ??PID?USER??????PR??NI????VIRT????RES????SHR?S??%CPU?%MEM?????TIME+?COMMAND

          20248?root??????20???0??0.227t?0.012t??18748?S??3090??5.2??29812:58?java

          ?4213?root??????20???0?2722544??64640??44232?S??23.5??0.0?233:35.37?mesos-slave

          66128?titancl+??20???0???24344???2332???1172?R???1.0??0.0???0:00.07?top

          ?5235?root??????20???0?38.227g?547004??49996?S???0.7??0.2???2:02.74?java

          ?4299?root??????20???0?20.015g?2.682g??16836?S???0.3??1.1??33:14.42?java?????1?root??????20???0???33620???2920???1496?S???0.0??0.0???0:03.82?init

          ????2?root??????20???0???????0??????0??????0?S???0.0??0.0???0:00.02?kthreadd

          ????3?root??????20???0???????0??????0??????0?S???0.0??0.0???0:05.35?ksoftirqd/0

          ????5?root???????0?-20???????0??????0??????0?S???0.0??0.0???0:00.00?kworker/0:0H

          ????6?root??????20???0???????0??????0??????0?S???0.0??0.0???0:06.94?kworker/u256:0

          ????8?root??????20???0???????0??????0??????0?S???0.0??0.0???2:38.05?rcu_sched

          top 命令包含了前面好幾個命令的檢查的內(nèi)容。比如系統(tǒng)負載情況（uptime）类缤、系統(tǒng)內(nèi)存使用情況（free）种吸、系統(tǒng)CPU使用情況（vmstat）等。因此 通過這個命令呀非，可以相對全面的查看系統(tǒng)負載的來源坚俗。同時，top命令支持排序岸裙，可以按照不同的列排序猖败，方便查找出諸如內(nèi)存占用最多的進程、CPU占用率最 高的進程等降允。

          但是恩闻，top命令相對于前面一些命令，輸出是一個瞬間值剧董，如果不持續(xù)盯著幢尚，可能會錯過一些線索。這時可能需要暫停top命令刷新翅楼，來記錄和比對數(shù)據(jù)尉剩。

          總結(jié)

          排查Linux服務(wù)器性能問題還有很多工具，上面介紹的一些命令毅臊，可以幫助我們快速的定位問題理茎。例如前面的示例輸出，多個證據(jù)證明有JAVA進程占用了大量CPU資源，之后的性能調(diào)優(yōu)就可以針對應(yīng)用程序進行皂林。

          ?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
          • 人面猴
            序言：七十年代末朗鸠，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子础倍，更是在濱河造成了極大的恐慌烛占，老刑警劉巖，帶你破解...
            沈念sama閱讀 216,496評論 6贊 501
          • 死咒
            序言：濱河連續(xù)發(fā)生了三起死亡事件沟启，死亡現(xiàn)場離奇詭異忆家，居然都是意外死亡，警方通過查閱死者的電腦和手機美浦，發(fā)現(xiàn)死者居然都...
            沈念sama閱讀 92,407評論 3贊 392
          • 救了他兩次的神仙讓他今天三更去死
            文/潘曉璐 我一進店門弦赖，熙熙樓的掌柜王于貴愁眉苦臉地迎上來项栏，“玉大人浦辨，你說我怎么就攤上這事≌由颍” “怎么了流酬？”我有些...
            開封第一講書人閱讀 162,632評論 0贊 353
          • 道士緝兇錄：失蹤的賣姜人
            文/不壞的土叔 我叫張陵，是天一觀的道長列另。 經(jīng)常有香客問我芽腾，道長，這世上最難降的妖魔是什么页衙？ 我笑而不...
            開封第一講書人閱讀 58,180評論 1贊 292
          • ?港島之戀（遺憾婚禮）
            正文 為了忘掉前任摊滔，我火速辦了婚禮，結(jié)果婚禮上店乐，老公的妹妹穿的比我還像新娘艰躺。我一直安慰自己，他們只是感情好眨八，可當(dāng)我...
            茶點故事閱讀 67,198評論 6贊 388
          • 惡毒庶女頂嫁案：這布局不是一般人想出來的
            文/花漫 我一把揭開白布腺兴。 她就那樣靜靜地躺著，像睡著了一般廉侧。 火紅的嫁衣襯著肌膚如雪页响。 梳的紋絲不亂的頭發(fā)上，一...
            開封第一講書人閱讀 51,165評論 1贊 299
          • 城市分裂傳說
            那天段誊，我揣著相機與錄音闰蚕，去河邊找鬼。 笑死连舍，一個胖子當(dāng)著我的面吹牛陪腌，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播，決...
            沈念sama閱讀 40,052評論 3贊 418
          • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
            文/蒼蘭香墨 我猛地睜開眼诗鸭，長吁一口氣：“原來是場噩夢啊……” “哼染簇！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起强岸，我...
            開封第一講書人閱讀 38,910評論 0贊 274
          • 萬榮殺人案實錄
            序言：老撾萬榮一對情侶失蹤锻弓，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后蝌箍，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體青灼，經(jīng)...
            沈念sama閱讀 45,324評論 1贊 310
          • ?護林員之死
            正文 獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
            茶點故事閱讀 37,542評論 2贊 332
          • ?白月光啟示錄
            正文 我和宋清朗相戀三年妓盲，在試婚紗的時候發(fā)現(xiàn)自己被綠了杂拨。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
            茶點故事閱讀 39,711評論 1贊 348
          • 活死人
            序言：一個原本活蹦亂跳的男人離奇死亡悯衬，死狀恐怖弹沽，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情筋粗，我是刑警寧澤策橘，帶...
            沈念sama閱讀 35,424評論 5贊 343
          • ?日本核電站爆炸內(nèi)幕
            正文 年R本政府宣布，位于F島的核電站娜亿，受9級特大地震影響丽已，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜买决，卻給世界環(huán)境...
            茶點故事閱讀 41,017評論 3贊 326
          • 男人毒藥：我在死后第九天來索命
            文/蒙蒙 一沛婴、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧督赤，春花似錦嘁灯、人聲如沸。這莊子的主人今日做“春日...
            開封第一講書人閱讀 31,668評論 0贊 22
          • 一樁弒父案旁仿，背后竟有這般陰謀
            文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至孽糖，卻和暖如春枯冈，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背办悟。 一陣腳步聲響...
            開封第一講書人閱讀 32,823評論 1贊 269
          • 情欲美人皮
            我被黑心中介騙來泰國打工尘奏， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人病蛉。 一個月前我還...
            沈念sama閱讀 47,722評論 2贊 368
          • 代替公主和親
            正文 我出身青樓炫加，卻偏偏與公主長得像瑰煎，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子俗孝，可洞房花燭夜當(dāng)晚...
            茶點故事閱讀 44,611評論 2贊 353

          推薦閱讀更多精彩內(nèi)容