Redis緩存高可用集群

1某残、Redis集群方案比較

  • 哨兵模式
image.png

在redis3.0以前的版本要實現(xiàn)集群一般是借助哨兵sentinel工具來監(jiān)控master節(jié)點的狀態(tài)代咸,如果master節(jié)點異常蹈丸,則會做主從切換,將某一臺slave作為master呐芥,哨兵的配置略微復(fù)雜逻杖,并且性能和高可用性等各方面表現(xiàn)一般,特別是在主從切換的瞬間存在訪問瞬斷的情況思瘟,而且哨兵模式只有一個主節(jié)點對外提供服務(wù)荸百,沒法支持很高的并發(fā),且單個主節(jié)點內(nèi)存也不宜設(shè)置得過大滨攻,否則會導(dǎo)致持久化文件過大够话,影響數(shù)據(jù)恢復(fù)或主從同步的效率

  • 高可用集群模式
image.png

redis集群是一個由多個主從節(jié)點群組成的分布式服務(wù)器群,它具有復(fù)制光绕、高可用和分片特性女嘲。Redis集群不需要sentinel哨兵·也能完成節(jié)點移除和故障轉(zhuǎn)移的功能。需要將每個節(jié)點設(shè)置成集群模式诞帐,這種集群模式?jīng)]有中心節(jié)點欣尼,可水平擴展,據(jù)官方文檔稱可以線性擴展到上萬個節(jié)點(官方推薦不超過1000個節(jié)點)停蕉。redis集群的性能和高可用性均優(yōu)于之前版本的哨兵模式愕鼓,且集群配置非常簡單

2钙态、Redis高可用集群搭建

  • redis集群搭建

redis集群需要至少三個master節(jié)點,我們這里搭建三個master節(jié)點拒啰,并且給每個master再搭建一個slave節(jié)點驯绎,總共6個redis節(jié)點,這里用三臺機器部署6個redis實例谋旦,每臺機器一主一從剩失,搭建集群的步驟如下:

第一步:在第一臺機器的/usr/local下創(chuàng)建文件夾redis-cluster,然后在其下面分別創(chuàng)建2個文件夾如下
(1)mkdir -p /usr/local/redis-cluster
(2)mkdir 8001 8004

第一步:把之前的redis.conf配置文件copy到8001下册着,修改如下內(nèi)容:
(1)daemonize yes
(2)port 8001(分別對每個機器的端口號進行設(shè)置)
(3)pidfile /var/run/redis_8001.pid  # 把pid進程號寫入pidfile配置的文件
(4)dir /usr/local/redis-cluster/8001/(指定數(shù)據(jù)文件存放位置拴孤,必須要指定不同的目錄位置,不然會丟失數(shù)據(jù))
(5)cluster-enabled yes(啟動集群模式)
(6)cluster-config-file nodes-8001.conf(集群節(jié)點信息文件甲捏,這里800x最好和port對應(yīng)上)
(7)cluster-node-timeout 10000
 (8)# bind 127.0.0.1(bind綁定的是自己機器網(wǎng)卡的ip演熟,如果有多塊網(wǎng)卡可以配多個ip,代表允許客戶端通過機器的哪些網(wǎng)卡ip去訪問司顿,內(nèi)網(wǎng)一般可以不配置bind芒粹,注釋掉即可)
 (9)protected-mode  no   (關(guān)閉保護模式)
 (10)appendonly yes
如果要設(shè)置密碼需要增加如下配置:
 (11)requirepass sonarone     (設(shè)置redis訪問密碼)
 (12)masterauth sonarone      (設(shè)置集群節(jié)點間訪問密碼,跟上面一致)

第三步:把修改后的配置文件大溜,copy到8004化漆,修改第2、3钦奋、4座云、6項里的端口號,可以用批量替換:
:%s/源字符串/目的字符串/g 

第四步:另外兩臺機器也需要做上面幾步操作付材,第二臺機器用8002和8005朦拖,第三臺機器用8003和8006

第五步:分別啟動6個redis實例,然后檢查是否啟動成功
(1)/usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/800*/redis.conf
(2)ps -ef | grep redis 查看是否啟動成功
    
第六步:用redis-cli創(chuàng)建整個redis集群(redis5以前的版本集群是依靠ruby腳本redis-trib.rb實現(xiàn))
# 下面命令里的1代表為每個創(chuàng)建的主服務(wù)器節(jié)點創(chuàng)建一個從服務(wù)器節(jié)點
# 執(zhí)行這條命令需要確認(rèn)三臺機器之間的redis實例要能相互訪問厌衔,可以先簡單把所有機器防火墻關(guān)掉璧帝,如果不關(guān)閉防火墻則需要打開redis服務(wù)端口和集群節(jié)點gossip通信端口16379(默認(rèn)是在redis端口號上加1W)
# 關(guān)閉防火墻
# systemctl stop firewalld # 臨時關(guān)閉防火墻
# systemctl disable firewalld # 禁止開機啟動
# 注意:下面這條創(chuàng)建集群的命令大家不要直接復(fù)制,里面的空格編碼可能有問題導(dǎo)致創(chuàng)建集群不成功
(1)/usr/local/redis-5.0.3/src/redis-cli -a sonarone --cluster create --cluster-replicas 1 192.168.0.61:8001 192.168.0.62:8002 192.168.0.63:8003 192.168.0.61:8004 192.168.0.62:8005 192.168.0.63:8006 

第七步:驗證集群:
(1)連接任意一個客戶端即可:./redis-cli -c -h -p (-a訪問服務(wù)端密碼富寿,-c表示集群模式睬隶,指定ip地址和端口號)
    如:/usr/local/redis-5.0.3/src/redis-cli -a zhuge -c -h 192.168.0.61 -p 800*
(2)進行驗證: cluster info(查看集群信息)、cluster nodes(查看節(jié)點列表)
(3)進行數(shù)據(jù)操作驗證
(4)關(guān)閉集群則需要逐個進行關(guān)閉作喘,使用命令:
/usr/local/redis-5.0.3/src/redis-cli -a sonarone -c -h 192.168.0.60 -p 800* shutdown

3理疙、Java操作redis集群

借助redis的java客戶端jedis可以操作以上集群晕城,引用jedis版本的maven坐標(biāo)如下:

<dependency>     
      <groupId>redis.clients</groupId>     
      <artifactId>jedis</artifactId>     
      <version>2.9.0</version> 
</dependency>

Java編寫訪問redis集群的代碼非常簡單泞坦,如下所示:

public class JedisClusterTest {
    public static void main(String[] args) throws IOException {

        JedisPoolConfig config = new JedisPoolConfig();
        config.setMaxTotal(20);
        config.setMaxIdle(10);
        config.setMinIdle(5);

        Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>();
        jedisClusterNode.add(new HostAndPort("192.168.0.61", 8001));
        jedisClusterNode.add(new HostAndPort("192.168.0.62", 8002));
        jedisClusterNode.add(new HostAndPort("192.168.0.63", 8003));
        jedisClusterNode.add(new HostAndPort("192.168.0.61", 8004));
        jedisClusterNode.add(new HostAndPort("192.168.0.62", 8005));
        jedisClusterNode.add(new HostAndPort("192.168.0.63", 8006));

        JedisCluster jedisCluster = null;
        try {
            //connectionTimeout:指的是連接一個url的連接等待時間
            //soTimeout:指的是連接上一個url,獲取response的返回等待時間
            jedisCluster = new JedisCluster(jedisClusterNode, 6000, 5000, 10, "sonarone", config);
            System.out.println(jedisCluster.set("cluster", "sonarone"));
            System.out.println(jedisCluster.get("cluster"));
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (jedisCluster != null)
                jedisCluster.close();
        }
    }
}

運行效果如下:
OK
sonarone

集群的Spring Boot整合Redis連接代碼見示例項目:redis-sentinel-cluster

1砖顷、引入相關(guān)依賴:

<dependency> 
      <groupId>org.springframework.boot</groupId> 
      <artifactId>spring-boot-starter-data-redis</artifactId> 
</dependency> 
<dependency> 
      <groupId>org.apache.commons</groupId> 
      <artifactId>commons-pool2</artifactId> 
</dependency>

springboot項目核心配置:

server:
  port: 8080
spring:
  redis:
    database: 0
    timeout: 3000
    password: sonarone
    cluster:
      nodes: 192.168.0.61:8001,192.168.0.62:8002,192.168.0.63:8003,192.168.0.61:8004,192.168.0.62:8005,192.168.0.63:8006
   lettuce:
      pool:
        max-idle: 50
        min-idle: 10
        max-active: 100
        max-wait: 1000

訪問代碼:

@RestController
public class IndexController {

    private static final Logger logger = LoggerFactory.getLogger(IndexController.class);

    @Autowired
    private StringRedisTemplate stringRedisTemplate;

    @RequestMapping("/test_cluster")
    public void testCluster() throws InterruptedException {
       stringRedisTemplate.opsForValue().set("zhuge", "666");
       System.out.println(stringRedisTemplate.opsForValue().get("zhuge"));
    }
}

4贰锁、Redis集群原理分析

Redis Cluster 將所有數(shù)據(jù)劃分為 16384 個 slots(槽位)赃梧,每個節(jié)點負(fù)責(zé)其中一部分槽位。槽位的信息存儲于每個節(jié)點中豌熄。

當(dāng) Redis Cluster 的客戶端來連接集群時授嘀,它也會得到一份集群的槽位配置信息并將其緩存在客戶端本地。這樣當(dāng)客戶端要查找某個 key 時锣险,可以直接定位到目標(biāo)節(jié)點蹄皱。同時因為槽位的信息可能會存在客戶端與服務(wù)器不一致的情況,還需要糾正機制來實現(xiàn)槽位信息的校驗調(diào)整芯肤。

槽位定位算法

Cluster 默認(rèn)會對 key 值使用 crc16 算法進行 hash 得到一個整數(shù)值巷折,然后用這個整數(shù)值對 16384 進行取模來得到具體槽位。

HASH_SLOT = CRC16(key) mod 16384

跳轉(zhuǎn)重定位

當(dāng)客戶端向一個錯誤的節(jié)點發(fā)出了指令崖咨,該節(jié)點會發(fā)現(xiàn)指令的 key 所在的槽位并不歸自己管理锻拘,這時它會向客戶端發(fā)送一個特殊的跳轉(zhuǎn)指令攜帶目標(biāo)操作的節(jié)點地址,告訴客戶端去連這個節(jié)點去獲取數(shù)據(jù)击蹲∈鹉猓客戶端收到指令后除了跳轉(zhuǎn)到正確的節(jié)點上去操作,還會同步更新糾正本地的槽位映射表緩存歌豺,后續(xù)所有 key 將使用新的槽位映射表推穷。

image.png

Redis集群節(jié)點間的通信機制

redis cluster節(jié)點間采取gossip協(xié)議進行通信

  • 維護集群的元數(shù)據(jù)(集群節(jié)點信息,主從角色世曾,節(jié)點數(shù)量缨恒,各節(jié)點共享的數(shù)據(jù)等)有兩種方式:集中式和gossip

集中式:

優(yōu)點在于元數(shù)據(jù)的更新和讀取,時效性非常好轮听,一旦元數(shù)據(jù)出現(xiàn)變更立即就會更新到集中式的存儲中骗露,其他節(jié)點讀取的時候立即就可以立即感知到;不足在于所有的元數(shù)據(jù)的更新壓力全部集中在一個地方血巍,可能導(dǎo)致元數(shù)據(jù)的存儲壓力萧锉。 很多中間件都會借助zookeeper集中式存儲元數(shù)據(jù)。

gossip:


image.png

gossip協(xié)議包含多種消息述寡,包括ping柿隙,pong,meet鲫凶,fail等等禀崖。

meet:某個節(jié)點發(fā)送meet給新加入的節(jié)點,讓新節(jié)點加入集群中螟炫,然后新節(jié)點就會開始與其他節(jié)點進行通信波附;

ping:每個節(jié)點都會頻繁給其他節(jié)點發(fā)送ping,其中包含自己的狀態(tài)還有自己維護的集群元數(shù)據(jù),互相通過ping交換元數(shù)據(jù)(類似自己感知到的集群節(jié)點增加和移除掸屡,hash slot信息等)封寞;

pong: 對ping和meet消息的返回,包含自己的狀態(tài)和其他信息仅财,也可以用于信息廣播和更新狈究;

fail: 某個節(jié)點判斷另一個節(jié)點fail之后,就發(fā)送fail給其他節(jié)點盏求,通知其他節(jié)點抖锥,指定的節(jié)點宕機了。

gossip協(xié)議的優(yōu)點在于元數(shù)據(jù)的更新比較分散碎罚,不是集中在一個地方宁改,更新請求會陸陸續(xù)續(xù),打到所有節(jié)點上去更新魂莫,有一定的延時还蹲,降低了壓力;缺點在于元數(shù)據(jù)更新有延時可能導(dǎo)致集群的一些操作會有一些滯后耙考。

gossip通信的10000端口

每個節(jié)點都有一個專門用于節(jié)點間gossip通信的端口谜喊,就是自己提供服務(wù)的端口號+10000,比如7001倦始,那么用于節(jié)點間通信的就是17001端口斗遏。 每個節(jié)點每隔一段時間都會往另外幾個節(jié)點發(fā)送ping消息,同時其他幾點接收到ping消息之后返回pong消息鞋邑。

網(wǎng)絡(luò)抖動

真實世界的機房網(wǎng)絡(luò)往往并不是風(fēng)平浪靜的诵次,它們經(jīng)常會發(fā)生各種各樣的小問題。比如網(wǎng)絡(luò)抖動就是非常常見的一種現(xiàn)象枚碗,突然之間部分連接變得不可訪問逾一,然后很快又恢復(fù)正常。

為解決這種問題肮雨,Redis Cluster 提供了一種選項cluster-node-timeout遵堵,表示當(dāng)某個節(jié)點持續(xù) timeout 的時間失聯(lián)時,才可以認(rèn)定該節(jié)點出現(xiàn)故障,需要進行主從切換。如果沒有這個選項讳窟,網(wǎng)絡(luò)抖動會導(dǎo)致主從頻繁切換 (數(shù)據(jù)的重新復(fù)制)。

Redis集群選舉原理分析

當(dāng)slave發(fā)現(xiàn)自己的master變?yōu)镕AIL狀態(tài)時蒙袍,便嘗試進行Failover,以期成為新的master。由于掛掉的master可能會有多個slave,從而存在多個slave競爭成為master節(jié)點的過程爽蝴, 其過程如下:

1.slave發(fā)現(xiàn)自己的master變?yōu)镕AIL

2.將自己記錄的集群currentEpoch加1扩灯,并廣播FAILOVER_AUTH_REQUEST 信息

3.其他節(jié)點收到該信息,只有master響應(yīng)霜瘪,判斷請求者的合法性,并發(fā)送FAILOVER_AUTH_ACK惧磺,對每一個epoch只發(fā)送一次ack

4.嘗試failover的slave收集master返回的FAILOVER_AUTH_ACK

5.slave收到超過半數(shù)master的ack后變成新Master(這里解釋了集群為什么至少需要三個主節(jié)點颖对,如果只有兩個,當(dāng)其中一個掛了磨隘,只剩一個主節(jié)點是不能選舉成功的)

6.slave廣播Pong消息通知其他集群節(jié)點缤底。

從節(jié)點并不是在主節(jié)點一進入 FAIL 狀態(tài)就馬上嘗試發(fā)起選舉,而是有一定延遲番捂,一定的延遲確保我們等待FAIL狀態(tài)在集群中傳播个唧,slave如果立即嘗試選舉,其它masters或許尚未意識到FAIL狀態(tài)设预,可能會拒絕投票

?延遲計算公式:

DELAY = 500ms + random(0 ~ 500ms) + SLAVE_RANK * 1000ms

?SLAVE_RANK表示此slave已經(jīng)從master復(fù)制數(shù)據(jù)的總量的rank徙歼。Rank越小代表已復(fù)制的數(shù)據(jù)越新。這種方式下鳖枕,持有最新數(shù)據(jù)的slave將會首先發(fā)起選舉(理論上)魄梯。

集群腦裂數(shù)據(jù)丟失問題

redis集群沒有過半機制會有腦裂問題,網(wǎng)絡(luò)分區(qū)導(dǎo)致腦裂后多個主節(jié)點對外提供寫服務(wù)宾符,一旦網(wǎng)絡(luò)分區(qū)恢復(fù)酿秸,會將其中一個主節(jié)點變?yōu)閺墓?jié)點,這時會有大量數(shù)據(jù)丟失魏烫。

規(guī)避方法可以在redis配置里加上參數(shù)(這種方法不可能百分百避免數(shù)據(jù)丟失辣苏,參考集群leader選舉機制):

min-replicas-to-write 1 //寫數(shù)據(jù)成功最少同步的slave數(shù)量,這個數(shù)量可以模仿大于半數(shù)機制配置哄褒,比如集群總共三個節(jié)點可以配置1稀蟋,加上leader就是2,超過了半數(shù)

注意:這個配置在一定程度上會影響集群的可用性呐赡,比如slave要是少于1個糊治,這個集群就算leader正常也不能提供服務(wù)了,需要具體場景權(quán)衡選擇罚舱。

集群是否完整才能對外提供服務(wù)

當(dāng)redis.conf的配置cluster-require-full-coverage為no時井辜,表示當(dāng)負(fù)責(zé)一個插槽的主庫下線且沒有相應(yīng)的從庫進行故障恢復(fù)時,集群仍然可用管闷,如果為yes則集群不可用粥脚。

Redis集群為什么至少需要三個master節(jié)點,并且推薦節(jié)點數(shù)為奇數(shù)包个?

因為新master的選舉需要大于半數(shù)的集群master節(jié)點同意才能選舉成功刷允,如果只有兩個master節(jié)點冤留,當(dāng)其中一個掛了,是達不到選舉新master的條件的树灶。

奇數(shù)個master節(jié)點可以在滿足選舉該條件的基礎(chǔ)上節(jié)省一個節(jié)點纤怒,比如三個master節(jié)點和四個master節(jié)點的集群相比,大家如果都掛了一個master節(jié)點都能選舉新master節(jié)點天通,如果都掛了兩個master節(jié)點都沒法選舉新master節(jié)點了泊窘,所以奇數(shù)的master節(jié)點更多的是從節(jié)省機器資源角度出發(fā)說的。

Redis集群對批量操作命令的支持

對于類似mset像寒,mget這樣的多個key的原生批量操作命令烘豹,redis集群只支持所有key落在同一slot的情況,如果有多個key一定要用mset命令在redis集群上操作诺祸,則可以在key的前面加上{XX}携悯,這樣參數(shù)數(shù)據(jù)分片hash計算的只會是大括號里的值,這樣能確保不同的key能落到同一slot里去筷笨,示例如下:

mset {user1}:1:name zhuge {user1}:1:age 18

假設(shè)name和age計算的hash slot值不一樣憔鬼,但是這條命令在集群下執(zhí)行,redis只會用大括號里的 user1 做hash slot計算胃夏,所以算出來的slot值肯定相同逊彭,最后都能落在同一slot。

哨兵leader選舉流程

當(dāng)一個master服務(wù)器被某sentinel視為下線狀態(tài)后构订,該sentinel會與其他sentinel協(xié)商選出sentinel的leader進行故障轉(zhuǎn)移工作侮叮。每個發(fā)現(xiàn)master服務(wù)器進入下線的sentinel都可以要求其他sentinel選自己為sentinel的leader,選舉是先到先得悼瘾。同時每個sentinel每次選舉都會自增配置紀(jì)元(選舉周期)囊榜,每個紀(jì)元中只會選擇一個sentinel的leader。如果所有超過一半的sentinel選舉某sentinel作為leader亥宿。之后該sentinel進行故障轉(zhuǎn)移操作卸勺,從存活的slave中選舉出新的master,這個選舉過程跟集群的master選舉很類似烫扼。

哨兵集群只有一個哨兵節(jié)點曙求,redis的主從也能正常運行以及選舉master,如果master掛了映企,那唯一的那個哨兵節(jié)點就是哨兵leader了悟狱,可以正常選舉新master。

不過為了高可用一般都推薦至少部署三個哨兵節(jié)點堰氓。為什么推薦奇數(shù)個哨兵節(jié)點原理跟集群奇數(shù)個master節(jié)點類似挤渐。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市双絮,隨后出現(xiàn)的幾起案子浴麻,更是在濱河造成了極大的恐慌得问,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件软免,死亡現(xiàn)場離奇詭異宫纬,居然都是意外死亡,警方通過查閱死者的電腦和手機膏萧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進店門漓骚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人向抢,你說我怎么就攤上這事∨呶” “怎么了挟鸠?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長亩冬。 經(jīng)常有香客問我艘希,道長,這世上最難降的妖魔是什么硅急? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任覆享,我火速辦了婚禮,結(jié)果婚禮上营袜,老公的妹妹穿的比我還像新娘撒顿。我一直安慰自己,他們只是感情好荚板,可當(dāng)我...
    茶點故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布凤壁。 她就那樣靜靜地躺著,像睡著了一般跪另。 火紅的嫁衣襯著肌膚如雪拧抖。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天免绿,我揣著相機與錄音唧席,去河邊找鬼。 笑死嘲驾,一個胖子當(dāng)著我的面吹牛淌哟,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播辽故,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼绞绒,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了榕暇?” 一聲冷哼從身側(cè)響起蓬衡,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤喻杈,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后狰晚,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體筒饰,經(jīng)...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年壁晒,在試婚紗的時候發(fā)現(xiàn)自己被綠了瓷们。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,117評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡秒咐,死狀恐怖谬晕,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情携取,我是刑警寧澤攒钳,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布,位于F島的核電站雷滋,受9級特大地震影響不撑,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜晤斩,卻給世界環(huán)境...
    茶點故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一焕檬、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧澳泵,春花似錦实愚、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至幢妄,卻和暖如春兔仰,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蕉鸳。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工乎赴, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人潮尝。 一個月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓榕吼,卻偏偏與公主長得像,于是被迫代替她去往敵國和親勉失。 傳聞我的和親對象是個殘疾皇子羹蚣,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內(nèi)容