Case-Ironic部署時No valid host

Ironic部署時罩旋，經(jīng)常會出現(xiàn)No valid host錯誤基括，這類錯誤常見的一個原因是hypervisor的資源不夠了瓤球。

Issue

hypervisor 可用資源為0

[root@cloud-b12-02 ~]# source  admin-openrc.sh 
[root@cloud-b12-02 ~(admin)]# nova hypervisor-list 
+----+----------------------------------------------+-------+----------+
| ID | Hypervisor hostname                          | State | Status   |
+----+----------------------------------------------+-------+----------+
| 4  | cloud-sz-compute-b11-04.sz.cloud.genomics.cn | up    | enabled  |
| 7  | cloud-sz-compute-b10-01.sz.cloud.genomics.cn | up    | enabled  |
| 10 | cloud-sz-compute-b11-03.sz.cloud.genomics.cn | up    | enabled  |
| 13 | cloud-sz-compute-b10-02.sz.cloud.genomics.cn | up    | enabled  |
| 16 | cloud-sz-compute-b11-01.sz.cloud.genomics.cn | up    | enabled  |
| 19 | cloud-sz-compute-b11-02.sz.cloud.genomics.cn | up    | enabled  |
| 25 | cloud-sz-compute-f18-03.sz.cloud.genomics.cn | down  | disabled |
| 55 | dbbda9bf-2fec-47ed-9a26-142f3d34c8d3         | up    | enabled  |
+----+----------------------------------------------+-------+----------+
[root@cloud-b12-02 ~(admin)]# nova hypervisor-show 55
+-------------------------+--------------------------------------+
| Property                | Value                                |
+-------------------------+--------------------------------------+
| cpu_info                | {}                                   |
| current_workload        | 0                                    |
| disk_available_least    | 0                                    |
| free_disk_gb            | 0                                    |
| free_ram_mb             | 0                                    |
| host_ip                 | 10.54.12.23                          |
| hypervisor_hostname     | dbbda9bf-2fec-47ed-9a26-142f3d34c8d3 |
| hypervisor_type         | ironic                               |
| hypervisor_version      | 1                                    |
| id                      | 55                                   |
| local_gb                | 0                                    |
| local_gb_used           | 0                                    |
| memory_mb               | 0                                    |
| memory_mb_used          | 0                                    |
| running_vms             | 0                                    |
| service_disabled_reason | None                                 |
| service_host            | cloud-b12-03-ironic       |
| service_id              | 154                                  |
| state                   | up                                   |
| status                  | enabled                              |
| vcpus                   | 0                                    |
| vcpus_used              | 0                                    |
+-------------------------+--------------------------------------+

可用資源為0带射，導(dǎo)致deploy裸機時報"no valid host"

Investigation

在該節(jié)點上他炊，查一下resource_tracker

2017-11-14 22:09:54.297 7 DEBUG oslo_messaging._drivers.amqpdriver [-] received reply msg_id: d563d14f74ef47c9990bcbd147e576d1 __call__ /usr/lib/python2.7/site-packages/oslo_messaging/_drivers/amqpdriver.py:299
2017-11-14 22:09:54.298 7 INFO nova.compute.resource_tracker [req-d27d05d9-d132-40d4-81c7-503ca2a42849 - - - - -] Final resource view: name=dbbda9bf-2fec-47ed-9a26-142f3d34c8d3 phys_ram=0MB used_ram=0MB phys_disk=0GB used_disk=0GB total_vcpus=0 used_vcpus=0 pci_stats=[]
2017-11-14 22:09:54.299 7 DEBUG nova.compute.resource_tracker [req-d27d05d9-d132-40d4-81c7-503ca2a42849 - - - - -] Compute_service record updated for cloud-b12-03-ironic:dbbda9bf-2fec-47ed-9a26-142f3d34c8d3 _update_available_resource /usr/lib/python2.7/site-packages/nova/compute/resource_tracker.py:626

定時任務(wù)
Running periodic task ComputeManager.update_available_resource

2017-11-14 22:07:52.018 7 DEBUG nova.compute.resource_tracker [req-d27d05d9-d132-40d4-81c7-503ca2a42849 - - - - -] Hypervisor: VCPU information unavailable _report_hypervisor_resource_view /usr/lib/python2.7/site-packages/nova/compute/resource_tracker.py:658
2017-11-14 22:07:52.019 7 DEBUG nova.compute.resource_tracker [req-d27d05d9-d132-40d4-81c7-503ca2a42849 - - - - -] Hypervisor/Node resource view: name=dbbda9bf-2fec-47ed-9a26-142f3d34c8d3 free_ram=0MB free_disk=0GB free_vcpus=unknown pci_devices=None _report_hypervisor_resource_view /usr/lib/python2.7/site-packages/nova/compute/resource_tracker.py:672

Analysis

在添加一個裸機節(jié)點（Ironic node-create）之后霎苗，就會生成對應(yīng)的一個hypervisor .

[root@cloud-b12-03 nova]#  openstack hypervisor list
+----+----------------------------------------------+-----------------+--------------+-------+
| ID | Hypervisor Hostname                          | Hypervisor Type | Host IP      | State |
+----+----------------------------------------------+-----------------+--------------+-------+
|  4 | cloud-sz-compute-b11-04.sz.cloud.genomics.cn | QEMU            | 10.54.12.27  | up    |
|  7 | cloud-sz-compute-b10-01.sz.cloud.genomics.cn | QEMU            | 10.54.12.28  | up    |
| 10 | cloud-sz-compute-b11-03.sz.cloud.genomics.cn | QEMU            | 10.54.12.26  | up    |
| 13 | cloud-sz-compute-b10-02.sz.cloud.genomics.cn | QEMU            | 10.54.12.29  | up    |
| 16 | cloud-sz-compute-b11-01.sz.cloud.genomics.cn | QEMU            | 10.54.12.24  | up    |
| 19 | cloud-sz-compute-b11-02.sz.cloud.genomics.cn | QEMU            | 10.54.12.25  | up    |
| 25 | cloud-sz-compute-f18-03.sz.cloud.genomics.cn | QEMU            | 10.54.12.183 | down  |
| 61 | ef89b610-96ab-473f-a0d8-9294d7efd4d8         | ironic          | 10.54.12.23  | up    |
+----+----------------------------------------------+-----------------+--------------+-------+
[root@cloud-b12-03 nova]# ironic node-list 
+--------------------------------------+-------+---------------+-------------+--------------------+-------------+
| UUID                                 | Name  | Instance UUID | Power State | Provisioning State | Maintenance |
+--------------------------------------+-------+---------------+-------------+--------------------+-------------+
| ef89b610-96ab-473f-a0d8-9294d7efd4d8 | node1 | None          | power off   | available          | False       |
+--------------------------------------+-------+---------------+-------------+--------------------+-------------+
[root@cloud-sz-kolla-2 ironic-deploy-test]# openstack hypervisor show 61
+----------------------+--------------------------------------+
| Field                | Value                                |
+----------------------+--------------------------------------+
| aggregates           | [u'baremetal-hosts']                 |
| cpu_info             |                                      |
| current_workload     | 0                                    |
| disk_available_least | 10                                   |
| free_disk_gb         | 10                                   |
| free_ram_mb          | 4000                                 |
| host_ip              | 10.54.12.23                          |
| hypervisor_hostname  | ef89b610-96ab-473f-a0d8-9294d7efd4d8 |
| hypervisor_type      | ironic                               |
| hypervisor_version   | 1                                    |
| id                   | 61                                   |
| local_gb             | 10                                   |
| local_gb_used        | 0                                    |
| memory_mb            | 4000                                 |
| memory_mb_used       | 0                                    |
| running_vms          | 0                                    |
| service_host         | cloud-b12-03-ironic       |
| service_id           | 154                                  |
| state                | up                                   |
| status               | enabled                              |
| vcpus                | 1                                    |
| vcpus_used           | 0                                    |
+----------------------+--------------------------------------+


## log 
正常情況下：
```log
2017-11-14 22:40:26.081 7 DEBUG oslo_messaging._drivers.amqpdriver [req-d27d05d9-d132-40d4-81c7-503ca2a42849 - - - - -] CALL msg_id: 629e4b456d334e5ab4fd6b947b99ba5b exchange 'nova' topic 'conductor' _send /usr/lib/python2.7/site-packages/oslo_messaging/_drivers/amqpdriver.py:442
2017-11-14 22:40:26.101 7 DEBUG oslo_messaging._drivers.amqpdriver [-] received reply msg_id: 629e4b456d334e5ab4fd6b947b99ba5b __call__ /usr/lib/python2.7/site-packages/oslo_messaging/_drivers/amqpdriver.py:299
2017-11-14 22:40:26.139 7 DEBUG nova.virt.ironic.driver [req-d27d05d9-d132-40d4-81c7-503ca2a42849 - - - - -] Returning 1 available node(s) get_available_nodes /usr/lib/python2.7/site-packages/nova/virt/ironic/driver.py:608

2017-11-14 23:38:41.266 6 DEBUG nova.servicegroup.drivers.db [req-3be3c1b2-64cc-4c74-97b2-150e8beb3458 - - - - -] DB_Driver: join new ServiceGroup member cloud-b12-03-ironic to the compute group, service = <Service: host=cloud-b12-03-ironic, binary=nova-compute, manager_class_name=nova.compute.manager.ComputeManager> join /usr/lib/python2.7/site-packages/nova/servicegroup/drivers/db.py:47

2017-11-14 23:53:53.658 6 INFO nova.compute.resource_tracker [req-7c6362f1-4f6c-4ce0-9c45-2913d9b694c3 - - - - -] Final resource view: name=ef89b610-96ab-473f-a0d8-9294d7efd4d8 phys_ram=0MB used_ram=1024MB phys_disk=0GB used_disk=10GB total_vcpus=0 used_vcpus=0 pci_stats=[]

該節(jié)點部署完了之后姆吭，hypervisor的可用資源就變?yōu)?了。

hypervisor resouce statistic

日志中的resource tracker數(shù)據(jù)是“注冊數(shù)據(jù)-部署時使用的flavor的數(shù)據(jù)” 得出來的唁盏。

ironic node-update node1 add \
   properties/cpus=1 \
   properties/memory_mb=4000 \
   properties/local_gb=10 \
   properties/cpu_arch="x86_64" \
   properties/capabilities="boot_option:local"

[root@cloud-sz-kolla-b13-01 ironic]# openstack flavor show b1.half 
+----------------------------+----------------------------------------------------+
| Field                      | Value                                              |
+----------------------------+----------------------------------------------------+
| OS-FLV-DISABLED:disabled   | False                                              |
| OS-FLV-EXT-DATA:ephemeral  | 0                                                  |
| access_project_ids         | None                                               |
| disk                       | 10                                                 |
| id                         | 205bcb85-cf81-4911-83f6-65b392ac24f2               |
| name                       | b1.half                                            |
| os-flavor-access:is_public | True                                               |
| properties                 | baremetal='true', capabilities:boot_option='local' |
| ram                        | 1024                                               |
| rxtx_factor                | 1.0                                                |
| swap                       |                                                    |
| vcpus                      | 1                                                  |
+----------------------------+----------------------------------------------------+

KB

在Build階段刪除Instance

build時刪除Instance 之后内狸，發(fā)現(xiàn)hypervisor可用資源為0, 過10秒之后忘記觀察結(jié)果了

[root@cloud-sz-kolla-2 ironic-deploy-centos6]# openstack server list
+------------------------+------------------------+--------+------------------------+-------------------------+
| ID                     | Name                   | Status | Networks               | Image Name              |
+------------------------+------------------------+--------+------------------------+-------------------------+
| 0f90dafe-21f6-42cf-979 | bare1                  | BUILD  | provision=10.54.0.103  | bm-user-half-centos6-os

對同一個baremetal node 反復(fù)deploy

deploy成功， 然后delete server, 然后查看hypervisor stats 發(fā)現(xiàn)剛開始是0厘擂， 過幾秒之后變正常昆淡。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個濱河市驴党，隨后出現(xiàn)的幾起案子瘪撇，更是在濱河造成了極大的恐慌，老刑警劉巖港庄，帶你破解...
    沈念sama閱讀 217,734評論 6贊 505
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件倔既，死亡現(xiàn)場離奇詭異，居然都是意外死亡鹏氧，警方通過查閱死者的電腦和手機渤涌，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評論 3贊 394
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來把还，“玉大人实蓬，你說我怎么就攤上這事〉趼模” “怎么了安皱？”我有些...
    開封第一講書人閱讀 164,133評論 0贊 354
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長艇炎。 經(jīng)常有香客問我酌伊，道長，這世上最難降的妖魔是什么缀踪？ 我笑而不...
    開封第一講書人閱讀 58,532評論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任居砖，我火速辦了婚禮，結(jié)果婚禮上驴娃，老公的妹妹穿的比我還像新娘奏候。我一直安慰自己，他們只是感情好唇敞，可當(dāng)我...
    茶點故事閱讀 67,585評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布蔗草。 她就那樣靜靜地躺著咒彤，像睡著了一般。 火紅的嫁衣襯著肌膚如雪蕉世。 梳的紋絲不亂的頭發(fā)上蔼紧，一...
    開封第一講書人閱讀 51,462評論 1贊 302
  • 城市分裂傳說
    那天，我揣著相機與錄音狠轻，去河邊找鬼。 笑死彬犯，一個胖子當(dāng)著我的面吹牛向楼，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播谐区，決...
    沈念sama閱讀 40,262評論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼湖蜕，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了宋列？” 一聲冷哼從身側(cè)響起昭抒，我...
    開封第一講書人閱讀 39,153評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎炼杖，沒想到半個月后灭返，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,587評論 1贊 314
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡坤邪，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,792評論 3贊 336
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年熙含，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片艇纺。...
    茶點故事閱讀 39,919評論 1贊 348
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡怎静，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出黔衡，到底是詐尸還是另有隱情蚓聘，我是刑警寧澤，帶...
    沈念sama閱讀 35,635評論 5贊 345
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布盟劫，位于F島的核電站夜牡，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏捞高。R本人自食惡果不足惜氯材，卻給世界環(huán)境...
    茶點故事閱讀 41,237評論 3贊 329
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望硝岗。 院中可真熱鬧氢哮，春花似錦、人聲如沸型檀。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,855評論 0贊 22
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至裂七，卻和暖如春皆看，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背背零。 一陣腳步聲響...
    開封第一講書人閱讀 32,983評論 1贊 269
  • 情欲美人皮
    我被黑心中介騙來泰國打工腰吟， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人徙瓶。 一個月前我還...
    沈念sama閱讀 48,048評論 3贊 370
  • 代替公主和親
    正文 我出身青樓毛雇，卻偏偏與公主長得像，于是被迫代替她去往敵國和親侦镇。 傳聞我的和親對象是個殘疾皇子灵疮，可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,864評論 2贊 354

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務(wù)發(fā)現(xiàn)壳繁，斷路器震捣，智...
    卡卡羅2017閱讀 134,656評論 18贊 139
  • 第一章 OpenStack基礎(chǔ) OpenStack管理的資源及提供的服務(wù)OpenStack做為一個操作系統(tǒng)，...
    sgt_tiger閱讀 12,919評論 4贊 72
  • 原文鏈接：http://www.dropwizard.io/1.2.0/docs/getting-started....
    Lance_Xu閱讀 902評論 0贊 0
  • 1. spark三種分布式部署模式 Spark支持的主要的三種分布式部署方式分別是standalone闹炉、spark...
    ZPPenny閱讀 10,095評論 0贊 5
  • 簡潔之美 當(dāng)上帝要懲罰人類的時候剩胁，他有時會給予我們一個荒年诉植，有時會給予我們一次瘟疫或戰(zhàn)爭，有時甚至于還會創(chuàng)造出一個...
    維克君閱讀 649評論 1贊 3