SKIL/安裝/Kubernetes

Kubernetes

Kubernetes是一個(gè)用于容器編排的開(kāi)源工具。它在管理容器工作負(fù)載和實(shí)現(xiàn)集群及其部署的自動(dòng)化方面有很大幫助续徽。你可以在這里找到更多關(guān)于它的信息翻翩。
本文檔將解釋基本的Kubernetes概念以及在Azure AKS上設(shè)置自己的SKIL集群所需的步驟实牡。AKS是一個(gè)由Azure提供的云服務(wù)贱傀，它允許你在后端使用kubernetes創(chuàng)建、管理和部署集群胎撤。

概念

以下是有Kubernetes的一些重要的基本概念晓殊。

Pods
Pods是Kubernetes最小的可部署單元。在kubernetes中伤提，一組一個(gè)或多個(gè)容器稱(chēng)為pod巫俺。pod中的容器一起部署，并作為一個(gè)組啟動(dòng)肿男、停止和復(fù)制介汹。pod容器可以支持不同的容器運(yùn)行時(shí)，例如docker舶沛，每個(gè)容器創(chuàng)建后都是用共享存儲(chǔ)/網(wǎng)絡(luò)嘹承，并帶有如何運(yùn)行容器的規(guī)范。

部署
在Kubernetes中冠王，部署是管理應(yīng)用程序伸縮性的一種方法。部署對(duì)象定義POD創(chuàng)建模板和所需的副本計(jì)數(shù)舌镶。部署使用“標(biāo)簽選擇器（label selector）”來(lái)標(biāo)識(shí)它管理的pods柱彻，并將根據(jù)需要?jiǎng)?chuàng)建或刪除pods以滿(mǎn)足副本計(jì)數(shù)豪娜。部署還用于管理安全地展開(kāi)對(duì)下在運(yùn)行的pods的更改。

服務(wù)
服務(wù)提供了一種引用具有單個(gè)靜態(tài)IP地址的一組pods的方法哟楷。它還使用“標(biāo)簽選擇器（label selectors）”來(lái)標(biāo)識(shí)它需要服務(wù)的資源瘤载。它還可以提供負(fù)載均衡，并允許為應(yīng)用程序提供外部服務(wù)卖擅。

安裝工具
你需要在你的環(huán)境中安裝docker鸣奔、azure-cli和kubectl以進(jìn)行后續(xù)操作。對(duì)于CentOS惩阶，可以按以下方式安裝：

# 安裝 docker
sudo yum install -y docker && sudo yum install docker && sudo systemctl start docker && sudo systemctl status docker && sudo systemctl enable docker
# 安裝 azure-cli
sudo rpm --import https://packages.microsoft.com/keys/microsoft.asc
sudo sh -c 'echo -e "[azure-cli]\nname=Azure CLI\nbaseurl=https://packages.microsoft.com/yumrepos/azure-cli\nenabled=1\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" > /etc/yum.repos.d/azure-cli.repo'
sudo yum install -y azure-cli
# 安裝 kubectl
sudo az aks install-cli
image.gif

對(duì)于其他操作系統(tǒng)中的安裝挎狸，可以訪(fǎng)問(wèn)以下鏈接：

這里，對(duì)于kubectl断楷，安裝命令一般是：az aks install-cli
需要Docker鏡像
集群設(shè)置需要以下Docker鏡像：

分布式skil鏡像不包括JDBC驅(qū)動(dòng)程序锨匆。這是與遠(yuǎn)程mysql容器實(shí)例通信所必需的。我們必須在skil ce docker鏡像中手動(dòng)安裝mysql jdbc驅(qū)動(dòng)程序冬筒。要將其安裝在已拉取的skil鏡像中恐锣，首先創(chuàng)建一個(gè)Dockerfile（nano Dockerfile），并將以下內(nèi)容放入其中舞痰。

FROM skymind/skil

USER root

RUN yum install -y mysql-connector-java && ln -s /usr/share/java/mysql-connector-java.jar /opt/skil/lib/mysql-connector-java.jar 

# PLD
EXPOSE 9008 
# File Server
EXPOSE 9508
# Zeppelin
EXPOSE 8080
# DL4J UI first port
EXPOSE 9002 
# ModelHistoryServer port
EXPOSE 9100

CMD ["/start-skil.sh"]
image.gif

保存文件并運(yùn)行以下命令以為你的Kubernetes設(shè)置拉取和構(gòu)建所需的SKIL docker鏡像

sudo docker pull zookeeper
sudo docker pull mysql:5.5.59
sudo docker build -t skymind/skil:jdbc .
image.gif

架構(gòu)
你可以使用的基本架構(gòu)是將zookeeper和mysql容器實(shí)例保存在單個(gè)pod中土榴，并將復(fù)制的skil實(shí)例保存在部署中。一個(gè)服務(wù)將向skil部署公開(kāi)pod容器响牛，另一個(gè)服務(wù)將負(fù)載均衡并公開(kāi)skil部署pod實(shí)例玷禽。它看起來(lái)像這樣：

image.gif
?

SKIL集群的kubernetes布局架構(gòu)

Kubernetes配置

這里定義的配置與上面描述的架構(gòu)相對(duì)應(yīng)。

創(chuàng)建Zookeeper與MySQL Pod

這個(gè)pod將有兩個(gè)容器用于ZooKeeper和MySQL娃善。它被標(biāo)記為app:zksql论衍，用于能夠被公開(kāi)服務(wù)選擇。將有三卷用于保存ZooKeeper（zk-data 和 zk-datalog）和mysql（mysql-data）數(shù)據(jù)聚磺。其他配置部分包括設(shè)置環(huán)境變量坯台、主機(jī)設(shè)置和端口公開(kāi)。配置在下面的代碼段中定義：

Shell

apiVersion: v1
kind: Pod
metadata:
  name: zookeeper-mysql
  labels:
    app: zksql
spec:
  hostname: zksql
  subdomain: zksqlsrv
  containers:
  - name: zookeeper
    image: <loginServerName>/zookeeper # You'll find the loginServerName at the end of this document as you follow along
    ports:
    - name: zkmain
      containerPort: 2181
      protocol: TCP
    volumeMounts:
    - mountPath: /data
      name: zk-data
    - mountPath: /datalog
      name: zk-datalog
  - name: mysql
    image: <loginServerName>/mysql # You'll find the loginServerName at the end of this document as you follow along
    ports:
    - name: sqlmain
      containerPort: 3306
      protocol: TCP
    volumeMounts:
    - mountPath: /var/lib/mysql
      name: mysql-data
    env:
    - name: MYSQL_ALLOW_EMPTY_PASSWORD
      value: "true"
    - name: MYSQL_DATABASE
      value: "skil_migrations"
  volumes:
  - name: zk-data
    emptyDir: {}
  - name: zk-datalog
    emptyDir: {}
  - name: mysql-data
    emptyDir: {}
image.gif

創(chuàng)建Skil部署
此部署設(shè)置包括用于SKIL容器的“2”個(gè)pod單元大小的復(fù)本瘫寝。它們按標(biāo)簽分組：app:skil蜒蕾。然后，服務(wù)（負(fù)載均衡器）可以選擇此標(biāo)簽公開(kāi)它焕阿，并對(duì)傳入的請(qǐng)求進(jìn)行負(fù)載均衡咪啡。此外，zookeeper和mysql pod中定義的主機(jī)設(shè)置可以轉(zhuǎn)換為DNS暮屡，即：zksql.zksqlsrv.default.svc.cluster.local撤摸。查看下面的代碼片段，了解如何在環(huán)境變量（skil_db_url和zookeeper_host）中使用它。

YAML

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: skil
spec:
  replicas: 2
  template:
    metadata:
      labels:
        app: skil
    spec:
      containers:
      - name: skil
        image: <loginServerName>/skymind/skil # You'll find the loginServerName at the end of this document as you follow along
        ports:
        - name: skilmain
          containerPort: 9008
          protocol: TCP
        - name: skilzep
          containerPort: 8080
          protocol: TCP
        env:
        - name: SKIL_USE_EMBEDDED_DB
          value: "false"
        - name: SKIL_DB_NAME
          value: "skil_migrations"
        - name: SKIL_DB_DRIVER
          value: "com.mysql.jdbc.Driver"  
        - name: SKIL_DB_URL
          value: "jdbc:mysql://zksql.zksqlsrv.default.svc.cluster.local:3306/skil_migrations"  
        - name: SKIL_DB_USER
          value: "root"
        - name: MODEL_HISTORY_SERVER_LAUNCH_DEFAULT
          value: "false"  
        - name: ZEPPELIN_LAUNCH_DEFAULT
          value: "false"  
        - name: ZOOKEEPER_HOST
          value: "zksql.zksqlsrv.default.svc.cluster.local"
        - name: ZOOKEEPER_PORT
          value: "2181"
        - name: ZOOKEEPER_EMBEDDED
          value: "false"
image.gif

創(chuàng)建服務(wù)
下面定義的兩個(gè)服務(wù)使用app:zksql選擇器將zookeeper和mysql內(nèi)部公開(kāi)到SKIL部署准夷，使用app:skil將SKIL部署外部公開(kāi)钥飞。

YAML

apiVersion: v1
kind: Service
metadata:
  name: zksqlsrv
spec:
  ports:
  - port: 2181
    targetPort: 2181
    protocol: TCP
    name: zkmain
  - port: 3306
    targetPort: 3306
    protocol: TCP
    name: sqlmain
  selector:
    app: zksql
  clusterIP: None
---
apiVersion: v1
kind: Service
metadata:
  name: skil
spec:
  type: LoadBalancer
  ports:
  - port: 9008
    targetPort: 9008
    protocol: TCP
    name: skilmain
  - port: 8080
    targetPort: 8080
    protocol: TCP
    name: skilzep
  selector:
    app: skil
image.gif

匯總配置文件
下面匯總了上面創(chuàng)建的所有kubernetes組件。創(chuàng)建名為skil-app.yaml（nano skil-app.yaml）的文件衫嵌，并將以下內(nèi)容放入其中读宙。

YAML

apiVersion: v1
kind: Pod
metadata:
  name: zookeeper-mysql
  labels:
    app: zksql
spec:
  hostname: zksql
  subdomain: zksqlsrv
  containers:
  - name: zookeeper
    image: <loginServerName>/zookeeper # You'll find the loginServerName at the end of this document as you follow along
    ports:
    - name: zkmain
      containerPort: 2181
      protocol: TCP
    volumeMounts:
    - mountPath: /data
      name: zk-data
    - mountPath: /datalog
      name: zk-datalog
  - name: mysql
    image: <loginServerName>/mysql # You'll find the loginServerName at the end of this document as you follow along
    ports:
    - name: sqlmain
      containerPort: 3306
      protocol: TCP
    volumeMounts:
    - mountPath: /var/lib/mysql
      name: mysql-data
    env:
    - name: MYSQL_ALLOW_EMPTY_PASSWORD
      value: "true"
    - name: MYSQL_DATABASE
      value: "skil_migrations"
  volumes:
  - name: zk-data
    emptyDir: {}
  - name: zk-datalog
    emptyDir: {}
  - name: mysql-data
    emptyDir: {}
---
apiVersion: v1
kind: Service
metadata:
  name: zksqlsrv
spec:
  ports:
  - port: 2181
    targetPort: 2181
    protocol: TCP
    name: zkmain
  - port: 3306
    targetPort: 3306
    protocol: TCP
    name: sqlmain
  selector:
    app: zksql
  clusterIP: None
---
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: skil
spec:
  replicas: 2
  template:
    metadata:
      labels:
        app: skil
    spec:
      containers:
      - name: skil
        image: <loginServerName>/skymind/skil # You'll find the loginServerName at the end of this document as you follow along
        ports:
        - name: skilmain
          containerPort: 9008
          protocol: TCP
        - name: skilzep
          containerPort: 8080
          protocol: TCP
        env:
        - name: SKIL_USE_EMBEDDED_DB
          value: "false"
        - name: SKIL_DB_NAME
          value: "skil_migrations"
        - name: SKIL_DB_DRIVER
          value: "com.mysql.jdbc.Driver"  
        - name: SKIL_DB_URL
          value: "jdbc:mysql://zksql.zksqlsrv.default.svc.cluster.local:3306/skil_migrations"  
        - name: SKIL_DB_USER
          value: "root"
        - name: MODEL_HISTORY_SERVER_LAUNCH_DEFAULT
          value: "false"  
        - name: ZEPPELIN_LAUNCH_DEFAULT
          value: "false"  
        - name: ZOOKEEPER_HOST
          value: "zksql.zksqlsrv.default.svc.cluster.local"
        - name: ZOOKEEPER_PORT
          value: "2181"
        - name: ZOOKEEPER_EMBEDDED
          value: "false"
---
apiVersion: v1
kind: Service
metadata:
  name: skil
spec:
  type: LoadBalancer
  ports:
  - port: 9008
    targetPort: 9008
    protocol: TCP
    name: skilmain
  - port: 8080
    targetPort: 8080
    protocol: TCP
    name: skilzep
  selector:
    app: skil
image.gif

這些是在使用kubernetes集群之前準(zhǔn)備容器鏡像所需的一些初始步驟。這些鏡像需要存在于在線(xiàn)注冊(cè)表中楔绞，以便在上面為每個(gè)容器模板定義的規(guī)范中的鏡像選擇器中解析结闸。
在ACR中創(chuàng)建和注冊(cè)鏡像
ACR是“Azure容器注冊(cè)表”，用于在Azure上上載和注冊(cè)容器鏡像酒朵，稍后可與AKS一起使用桦锄。為此，首先使用az登錄名登錄到Azure耻讽，如下所示：

Shell

sudo az login
image.gif

按照命令行輸出上顯示的步驟完成登錄過(guò)程察纯。 登錄后，確保所需的Azure service providers與 az provider register已啟用 针肥。

Shell

az provider register -n Microsoft.Network
az provider register -n Microsoft.Storage
az provider register -n Microsoft.Compute
az provider register -n Microsoft.ContainerService
image.gif

你需要一個(gè)資源組來(lái)包含你的ACR饼记。創(chuàng)建一個(gè)資源組，然后創(chuàng)建一個(gè)ACR慰枕，然后登錄到它具则。

Shell

export RESOURCE_GROUP_NAME=<resource_group_name> # 將此替換為唯一的資源組名稱(chēng)
export ACR_NAME=<acr_name> # 將其替換為唯一的ACR名稱(chēng)

az group create --name $RESOURCE_GROUP_NAME --location eastus
az acr create --resource-group $RESOURCE_GROUP_NAME --name $ACR_NAME --sku Basic
sudo az acr login --name $ACR_NAME
image.gif

每個(gè)容器鏡像都需要用注冊(cè)表的“l(fā)oginServer”名稱(chēng)進(jìn)行標(biāo)記。當(dāng)將容器鏡像推送到鏡像注冊(cè)表時(shí)具帮，此標(biāo)記用于路由博肋。你可以使用以下命令獲取登錄服務(wù)器名稱(chēng)：

Shell

export ACR_LOGIN_SERVER="$(az acr list --resource-group $RESOURCE_GROUP_NAME --query "[].{acrLoginServer:loginServer}" --output table | tail -n1)"

echo $ACR_LOGIN_SERVER # 打印loginServer名稱(chēng)
image.gif

運(yùn)行上述命令時(shí)，請(qǐng)確保將skil-app.yaml文件中的loginServerName替換為控制臺(tái)中打印的登錄服務(wù)器名稱(chēng)蜂厅。要標(biāo)記和推送Docker鏡像匪凡，請(qǐng)運(yùn)行以下命令

Shell

sudo docker tag zookeeper ${ACR_LOGIN_SERVER}/zookeeper
sudo docker tag mysql:5.5.59 ${ACR_LOGIN_SERVER}/mysql
sudo docker tag skymind/skil:jdbc ${ACR_LOGIN_SERVER}/skymind/skil

sudo docker push ${ACR_LOGIN_SERVER}/zookeeper
sudo docker push ${ACR_LOGIN_SERVER}/mysql
sudo docker push ${ACR_LOGIN_SERVER}/skymind/skil

az acr repository list --name $ACR_NAME --output table # Outputs the list of images present in the registry
image.gif

創(chuàng)建K8集群

你可以通過(guò)如下方式提供集群名稱(chēng)、節(jié)點(diǎn)數(shù)量掘猿、VM大小和OS磁盤(pán)大小來(lái)創(chuàng)建集群：

Shell

export K8_CLUSTER_NAME=<your_cluster_name> # Replace this with the cluster name
export NODE_VM_SIZE=<your_vm_size> # Replace this with the cluster size. Standard_D4_v2 is preferable
export NODE_OSDISK_SIZE=100 # Size in GB for a single cluster VM node.
export NODE_COUNT=1 # Number of nodes in the cluster

az aks create --resource-group $RESOURCE_GROUP_NAME --name $K8_CLUSTER_NAME --node-count $NODE_COUNT --node-osdisk-size $NODE_OSDISK_SIZE --node-vm-size $NODE_VM_SIZE --generate-ssh-keys
image.gif

配置ACR身份驗(yàn)證
需要在AKS集群和ACR注冊(cè)表之間配置身份驗(yàn)證病游。這涉及授予AKS標(biāo)識(shí)從ACR注冊(cè)表中拉取鏡像的適當(dāng)權(quán)限。運(yùn)行以下命令以完成該任務(wù)稠通。

Shell

export CLIENT_ID=$(az aks show --resource-group $RESOURCE_GROUP_NAME --name $K8_CLUSTER_NAME --query "servicePrincipalProfile.clientId" --output tsv)
export ACR_ID=$(az acr show --name $ACR_NAME --resource-group $RESOURCE_GROUP_NAME --query "id" --output tsv)
az role assignment create --assignee $CLIENT_ID --role Reader --scope $ACR_ID
image.gif

現(xiàn)在衬衬，你可以使用創(chuàng)建的kubernetes集群配置已安裝的kubectl工具。

Shell

az aks get-credentials --resource-group $RESOURCE_GROUP_NAME --name $K8_CLUSTER_NAME
image.gif

使用kubectl查詢(xún)集群改橘，并使用先前創(chuàng)建的保存的skil-app.yaml文件創(chuàng)建skil集群部署滋尉。

Shell

kubectl get nodes # 獲取群集中的節(jié)點(diǎn)詳細(xì)信息

kubectl create -f skil-app.yaml #使用提供的配置創(chuàng)建集群

kubectl get service skil --watch # 監(jiān)控服務(wù)可用性的看門(mén)狗
image.gif

監(jiān)視過(guò)程中的外部-IP將在開(kāi)始時(shí)掛起，一旦外部-IP地址從掛起更改為有效的IP地址飞主，你可以停止Kubectl監(jiān)控進(jìn)程狮惜。訪(fǎng)問(wèn)url“http://external-ip:9008”高诺，查看已部署的SKIL應(yīng)用程序。

擴(kuò)展應(yīng)用程序
您可以分別使用az aks scale和kubectl scale增加集群大小和擴(kuò)展部署碾篡。

Shell

az aks scale --resource-group $RESOURCE_GROUP_NAME --name $K8_CLUSTER_NAME --node-count 2

kubectl scale --replicas=3 deployment/skil
image.gif
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末懒叛，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子耽梅，更是在濱河造成了極大的恐慌，老刑警劉巖胖烛，帶你破解...
    沈念sama閱讀 221,820評(píng)論 6贊 515
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件眼姐，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡佩番，警方通過(guò)查閱死者的電腦和手機(jī)众旗，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評(píng)論 3贊 399
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門(mén)，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)趟畏，“玉大人贡歧，你說(shuō)我怎么就攤上這事「承悖” “怎么了利朵？”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,324評(píng)論 0贊 360
  • 道士緝兇錄：失蹤的賣(mài)姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長(zhǎng)猎莲。 經(jīng)常有香客問(wèn)我绍弟，道長(zhǎng)，這世上最難降的妖魔是什么著洼？ 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,714評(píng)論 1贊 297
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任樟遣，我火速辦了婚禮，結(jié)果婚禮上身笤，老公的妹妹穿的比我還像新娘豹悬。我一直安慰自己，他們只是感情好液荸，可當(dāng)我...
    茶點(diǎn)故事閱讀 68,724評(píng)論 6贊 397
  • 惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
    文/花漫 我一把揭開(kāi)白布瞻佛。 她就那樣靜靜地躺著，像睡著了一般莹弊。 火紅的嫁衣襯著肌膚如雪涤久。 梳的紋絲不亂的頭發(fā)上，一...
    開(kāi)封第一講書(shū)人閱讀 52,328評(píng)論 1贊 310
  • 城市分裂傳說(shuō)
    那天忍弛，我揣著相機(jī)與錄音响迂，去河邊找鬼。 笑死细疚，一個(gè)胖子當(dāng)著我的面吹牛蔗彤，可吹牛的內(nèi)容都是我干的川梅。 我是一名探鬼主播，決...
    沈念sama閱讀 40,897評(píng)論 3贊 421
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開(kāi)眼然遏，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼贫途！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起待侵，我...
    開(kāi)封第一講書(shū)人閱讀 39,804評(píng)論 0贊 276
  • 萬(wàn)榮殺人案實(shí)錄
    序言：老撾萬(wàn)榮一對(duì)情侶失蹤丢早，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后秧倾，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體怨酝，經(jīng)...
    沈念sama閱讀 46,345評(píng)論 1贊 318
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,431評(píng)論 3贊 340
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年那先，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了农猬。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,561評(píng)論 1贊 352
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡售淡，死狀恐怖斤葱，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情揖闸，我是刑警寧澤揍堕，帶...
    沈念sama閱讀 36,238評(píng)論 5贊 350
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站汤纸，受9級(jí)特大地震影響鹤啡，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜蹲嚣，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,928評(píng)論 3贊 334
  • 男人毒藥：我在死后第九天來(lái)索命
    文/蒙蒙 一递瑰、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧隙畜，春花似錦抖部、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,417評(píng)論 0贊 24
  • 一樁弒父案慎颗，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至言询，卻和暖如春俯萎，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背运杭。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,528評(píng)論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來(lái)泰國(guó)打工夫啊， 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人辆憔。 一個(gè)月前我還...
    沈念sama閱讀 48,983評(píng)論 3贊 376
  • 代替公主和親
    正文 我出身青樓撇眯，卻偏偏與公主長(zhǎng)得像报嵌，于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子熊榛，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,573評(píng)論 2贊 359

推薦閱讀更多精彩內(nèi)容