DC/OS Local Persistent Volumes

MESOS 本地持久化存儲(chǔ)類型:

  1. root,最基本的存儲(chǔ)資源拧粪,默認(rèn)是mesos agent工作路徑的存儲(chǔ)資源灶搜。

    • 應(yīng)用共享式使用。

    • 在創(chuàng)建應(yīng)用的同時(shí)瞎疼,會(huì)在/var/lib/mesos/slave/volumes目錄下創(chuàng)建應(yīng)用的存儲(chǔ)目錄科乎。

    • agent上報(bào)root類型存儲(chǔ)2G。

        [
          {
            "name" : "disk",
            "type" : "SCALAR",
            "scalar" : { "value" : 2048 }
          }
        ]
    
  2. path,作為附加存儲(chǔ)資源丑慎,可以將整塊磁盤喜喂,通過(guò)目錄存儲(chǔ)的方式進(jìn)行劃分。用于日志存儲(chǔ)竿裂、備份玉吁,用于無(wú)性能要求的存儲(chǔ)。

    • 應(yīng)用共享式使用腻异。

    • 在創(chuàng)建應(yīng)用的同時(shí)进副,會(huì)在path目錄下創(chuàng)建應(yīng)用的存儲(chǔ)目錄。

    • 如 mount /dev/sdb /mnt && mkdir /mnt/data, /dev/sdb 是10G悔常,agent上報(bào)目錄存儲(chǔ)資源/mnt/data影斑,使用2G大小。

        [
          {
            "name" : "disk",
            "type" : "SCALAR",
            "scalar" : { "value" : 2048 },
            "disk" : {
              "source" : {
                "type" : "PATH",
                "path" : { "root" : "/mnt/data" }
              }
            }
          }
        ]
    
  3. mount,作為附加存儲(chǔ)資源机打,只能整塊使用矫户,不能像path類存儲(chǔ)一樣分割使用。用于database残邀、write-ahead-log(WAL預(yù)寫式日志)皆辽,用于有性能要求的存儲(chǔ)。

    • 應(yīng)用獨(dú)占式使用芥挣。

    • 在創(chuàng)建應(yīng)用時(shí)驱闷,應(yīng)用使用整個(gè)磁盤資源,允許有預(yù)存在的數(shù)據(jù)文件/目錄空免,但是當(dāng)mesos銷毀應(yīng)用時(shí)空另,會(huì)刪除所有數(shù)據(jù)

    • 如 mount /dev/sdb /mnt/data, agent上報(bào)存儲(chǔ)磁盤資源/mnt/data,使用大小2G。

        [
          {
            "name" : "disk",
            "type" : "SCALAR",
            "scalar" : { "value" : 2048 },
            "disk" : {
              "source" : {
                "type" : "MOUNT",
                "mount" : { "root" : "/mnt/data" }
              }
            }
          }
        ]
    

Marathon docker應(yīng)用使用local persistent volume示例

Marathon對(duì)于這幾種Persistent Volume的使用區(qū)分蹋砚,主要是通過(guò)persistent.type來(lái)控制的扼菠。

操作流程:

1. marathon創(chuàng)建應(yīng)用
2. 查看應(yīng)用mount信息
3. 創(chuàng)建tmp.txt
4. 重啟應(yīng)用摄杂,查看tmp.txt
5. 查看應(yīng)用的本地存儲(chǔ)目錄

root

創(chuàng)建marathon 應(yīng)用

{
  "id": "/cwc/test/test-root",
  "instances": 1,
  "portDefinitions": [],
  "container": {
    "type": "DOCKER",
    "docker": {
      "image": "busybox"
    },
    "volumes": [
      {
        "persistent": {
          "size": 100
        },
        "mode": "RW",
        "containerPath": "mydata"
      },
      {
        "containerPath": "/mydata",
        "hostPath": "mydata",
        "mode": "RW"
      }
    ]
  },
  "cpus": 0.1,
  "mem": 128,
  "requirePorts": false,
  "cmd": "tail -f /dev/null",
  "residency": {
    "relaunchEscalationTimeoutSeconds": 10,
    "taskLostBehavior": "WAIT_FOREVER"
  }
}

這時(shí)候marathon隨機(jī)選取了一個(gè)主機(jī)去部署應(yīng)用,以后與這個(gè)應(yīng)用相關(guān)的所有操作都只在這個(gè)主機(jī)上運(yùn)行循榆。
可以看到

  1. 應(yīng)用容器內(nèi)存儲(chǔ)目錄 /mydata

  2. 主機(jī)存儲(chǔ)目錄/var/lib/mesos/slave/volumes/roles/slave_public/cwc_test_test-root#mydata#743b88a7-8e17-11e7-b490-b6a91729f427

  3. 重啟應(yīng)用數(shù)據(jù)不變

  4. 重啟agent匙姜,應(yīng)用自動(dòng)恢復(fù),數(shù)據(jù)不變

  5. 應(yīng)用銷毀冯痢,數(shù)據(jù)消失

path

marathon 應(yīng)用

{
  "id": "/cwc/test/test-path",
  "instances": 1,
  "portDefinitions": [],
  "container": {
    "type": "DOCKER",
    "docker": {
      "image": "busybox",
      "network": "HOST"
    },
    "volumes": [
      {
        "persistent": {
          "size": 100,
          "type": "path"
        },
        "mode": "RW",
        "containerPath": "mydata"
      },
      {
        "containerPath": "/mydata",
        "hostPath": "mydata",
        "mode": "RW"
      }
    ]
  },
  "cpus": 0.1,
  "mem": 128,
  "requirePorts": false,
  "cmd": "tail -f /dev/null",
  "residency": {
    "relaunchEscalationTimeoutSeconds": 10,
    "taskLostBehavior": "WAIT_FOREVER"
  }
}

這時(shí)候marathon隨機(jī)選取了一個(gè)主機(jī)去部署應(yīng)用,以后與這個(gè)應(yīng)用相關(guān)的所有操作都只在這個(gè)主機(jī)上運(yùn)行框杜。
可以看到

  1. 應(yīng)用容器內(nèi)存儲(chǔ)目錄 /mydata

  2. 主機(jī)存儲(chǔ)目錄/mnt/data/volumes/roles/slave_public/cwc_test_test-path#mydata#8f2d2ba9-8e1c-11e7-b490-b6a91729f427/

  3. 重啟應(yīng)用數(shù)據(jù)不變

  4. agent重啟浦楣,數(shù)據(jù)不變

  5. 應(yīng)用銷毀,數(shù)據(jù)消失

  6. agent 重新resize path resource咪辱,應(yīng)用啟動(dòng)失敗

mount

marathon 應(yīng)用

{
  "id": "/cwc/test/test-mount",
  "instances": 1,
  "portDefinitions": [],
  "container": {
    "type": "DOCKER",
    "docker": {
      "image": "busybox"
    },
    "volumes": [
      {
        "persistent": {
          "size": 100,
          "type": "mount"
        },
        "mode": "RW",
        "containerPath": "mydata"
      },
      {
        "containerPath": "/mydata",
        "hostPath": "mydata",
        "mode": "RW"
      }
    ]
  },
  "cpus": 0.1,
  "mem": 128,
  "requirePorts": false,
  "cmd": "tail -f /dev/null",
  "constraints": [
    [
      "hostname",
      "LIKE",
      "192.168.131.4"
    ]
  ],
  "residency": {
    "relaunchEscalationTimeoutSeconds": 10,
    "taskLostBehavior": "WAIT_FOREVER"
  }
}
  1. 應(yīng)用容器內(nèi)存儲(chǔ)目錄 /mydata

  2. 主機(jī)存儲(chǔ)目錄/dcos/volume0/

  3. 重啟應(yīng)用數(shù)據(jù)存在

  4. agent重啟振劳,數(shù)據(jù)存在

  5. 應(yīng)用銷毀,數(shù)據(jù)消失

  6. agent 重新resize mount resource油狂,應(yīng)用啟動(dòng)失敗

Marathon 使用Host Volume

{
    "type": "DOCKER",
    "volumes": [
        {
            "mode": "RO",
            "container_path": "/etc/localtime",
            "host_path": "/etc/localtime"
        },
        {
            "mode": "RW",
            "container_path": "/tmp",
            "host_path": "/tmp"
        }
    ],
    "docker": {
        "image": "busybox",
        "network": "HOST",
        "privileged": false,
        "parameters": [
            {
                "key": "label",
                "value": "MESOS_TASK_ID=cwc_test-local-path.75db9606-97d6-11e7-aaa2-36ce7409b167"
            }
        ],
        "force_pull_image": false
    }
}

資料檢索

mesos multiple-disk

dcos persistent volume

marathon persistent volumes

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末历恐,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子专筷,更是在濱河造成了極大的恐慌弱贼,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,252評(píng)論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件磷蛹,死亡現(xiàn)場(chǎng)離奇詭異吮旅,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)味咳,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門庇勃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人槽驶,你說(shuō)我怎么就攤上這事责嚷。” “怎么了掂铐?”我有些...
    開封第一講書人閱讀 168,814評(píng)論 0 361
  • 文/不壞的土叔 我叫張陵罕拂,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我堡纬,道長(zhǎng)聂受,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,869評(píng)論 1 299
  • 正文 為了忘掉前任烤镐,我火速辦了婚禮蛋济,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘炮叶。我一直安慰自己碗旅,他們只是感情好渡处,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,888評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著祟辟,像睡著了一般医瘫。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上旧困,一...
    開封第一講書人閱讀 52,475評(píng)論 1 312
  • 那天醇份,我揣著相機(jī)與錄音,去河邊找鬼吼具。 笑死僚纷,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的拗盒。 我是一名探鬼主播怖竭,決...
    沈念sama閱讀 41,010評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼陡蝇!你這毒婦竟也來(lái)了痊臭?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,924評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤登夫,失蹤者是張志新(化名)和其女友劉穎广匙,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體悼嫉,經(jīng)...
    沈念sama閱讀 46,469評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡艇潭,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,552評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了戏蔑。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蹋凝。...
    茶點(diǎn)故事閱讀 40,680評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖总棵,靈堂內(nèi)的尸體忽然破棺而出鳍寂,到底是詐尸還是另有隱情,我是刑警寧澤情龄,帶...
    沈念sama閱讀 36,362評(píng)論 5 351
  • 正文 年R本政府宣布迄汛,位于F島的核電站,受9級(jí)特大地震影響骤视,放射性物質(zhì)發(fā)生泄漏鞍爱。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,037評(píng)論 3 335
  • 文/蒙蒙 一专酗、第九天 我趴在偏房一處隱蔽的房頂上張望睹逃。 院中可真熱鬧,春花似錦、人聲如沸沉填。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)翼闹。三九已至斑鼻,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間猎荠,已是汗流浹背坚弱。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留关摇,地道東北人史汗。 一個(gè)月前我還...
    沈念sama閱讀 49,099評(píng)論 3 378
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像拒垃,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子瓷蛙,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,691評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • 之前基于ps-lite實(shí)現(xiàn)了word2vec悼瓮。下一步就是讓這個(gè)算法能夠分布式的跑起來(lái)。最簡(jiǎn)單的分布式方案大概是如下...
    xlvector閱讀 1,309評(píng)論 1 7
  • 如何使用一個(gè)PaaS集群艰猬,其實(shí)就是如何使用它的網(wǎng)絡(luò)横堡、存儲(chǔ),這兩點(diǎn)關(guān)系著應(yīng)用的部署冠桃。DC/OS集群中命贴,網(wǎng)絡(luò)分為Hos...
    rm_rf閱讀 812評(píng)論 0 0
  • 摘要 為了滿足渲染、基因測(cè)序等計(jì)算密集型服務(wù)的需求食听,UCloud 已推出了“計(jì)算工廠”產(chǎn)品胸蛛,讓用戶可以快速創(chuàng)建大量...
    UCloud云計(jì)算閱讀 750評(píng)論 0 1
  • 剛看了個(gè)故事,大概內(nèi)容是這樣:某公司總裁樱报,才華橫溢葬项,管理卻十分獨(dú)裁。手下主管十分不滿迹蛤,個(gè)個(gè)牢騷滿腹民珍,離心離...
    完美的小玉桃閱讀 440評(píng)論 0 0
  • 我喜歡寫作嚷量。 以前上學(xué)的時(shí)候,喜歡寫日記逆趣,雖然已記不清寫了什么蝶溶;現(xiàn)如今,忙碌的生活汗贫,已很久沒(méi)有拿起筆身坐,寫寫內(nèi)心的感...
    黃金屋916閱讀 150評(píng)論 0 0