go yaml 和 k8s yaml 混用踩坑

云原生相關(guān)的項(xiàng)目避免不了和 yaml 打交道草添。go 沒有內(nèi)置對 yaml 格式的支持,比較常用的 go-yaml 這個庫智亮,這個庫可以用進(jìn)行日常的 marshal 和 unmarshal赞哗。
k8s 自身也常和 yaml 打交道牌里,所以 k8s 提供了一個 sigs.k8s.io/yaml 庫融柬。這個庫自身也是基于 go-yaml,所以文檔中也說明了 k8syaml 支持 go-yaml 的全部功能趋距。

我們在一個項(xiàng)目中一開始引入的是 go-yaml 的依賴粒氧,后來引入了 k8syaml 依賴,導(dǎo)致在代碼的不同模塊中分別使用兩個模塊進(jìn)行序列化和反序列化节腐,最終觸發(fā)了一個系統(tǒng) bug外盯,該 bug 的表現(xiàn)一個配置項(xiàng)原本沒有發(fā)生變化,但是系統(tǒng)會顯示為發(fā)生了變化翼雀。經(jīng)過 debug 才發(fā)現(xiàn)是由于在舊值和新值分別使用了 go-yaml 和 k8s yaml 進(jìn)行了初始化導(dǎo)致的饱苟。
我們寫一小段代碼進(jìn)行驗(yàn)證一下,發(fā)現(xiàn)由于 k8syaml 會先將 data 轉(zhuǎn)為 json 再 unmarshal狼渊,導(dǎo)致 Value 的類型為 float64箱熬,而直接使用 go-yaml 中話类垦,Value 的類型則是 int。

k8s-yaml Unmarshal 出來的類型之所以為 float64城须,也不是做了什么魔法蚤认,僅僅是先 unmarshal 到 json 導(dǎo)致的,我們直接使用 json unmarshal 的話糕伐,Value 的類型也是 float64砰琢。不過 json 提供了 decode 提供了選項(xiàng) UseNumger() 的選項(xiàng)來處理此行為。

其實(shí) k8syaml 的這個行為在文檔中也有明確說明良瞧,只是之前沒有觸碰到這個先轉(zhuǎn)為 json 再轉(zhuǎn)為 yaml 的問題陪汽,算是踩了一次坑。

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "reflect"

    "gopkg.in/yaml.v3"
    k8syaml "sigs.k8s.io/yaml"
)

func MustUnmarshalJSON(data []byte, o interface{}, useNumber bool) {
    var dec = json.NewDecoder(bytes.NewReader(data))
    if useNumber {
        dec.UseNumber()
    }
    err := dec.Decode(o)
    if err != nil {
        panic(err)
    }
}

const (
    DefaultYaml = iota
    K8SYaml
)

func MustUnmarshalYAML(data []byte, o interface{}, yamlType int, opts ...k8syaml.JSONOpt) {
    var err error
    switch yamlType {
    case DefaultYaml:
        err = yaml.Unmarshal(data, o)
    case K8SYaml:
        err = k8syaml.Unmarshal(data, o, opts...)
    default:
        panic(fmt.Errorf("unknown yamlType %v", yamlType))
    }
    if err != nil {
        panic(err)
    }
}

var useNumberOpt = func(d *json.Decoder) *json.Decoder {
    d.UseNumber()
    return d
}

func main() {
    type data struct {
        yaml string
        json string
    }
    type dd struct {
        Value interface{} `yaml:"value"`
    }
    for _, o := range []data{
        {
            yaml: `value: 7`,
            json: `{"value": 7}`,
        },
        {
            yaml: `value: 7.4`,
            json: `{"value":7.4}`,
        },
    } {
        var d dd
        fmt.Printf("Input:%+v\n", o)
        MustUnmarshalJSON([]byte(o.json), &d, false)
        fmt.Printf("JSON Unmarshal Default: %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
        MustUnmarshalJSON([]byte(o.json), &d, true)
        fmt.Printf("JSON Unmarshal UseNumber: %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, DefaultYaml)
        fmt.Printf("Default YAML Unmarshal %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, K8SYaml)
        fmt.Printf("K8SYAML Unmarshal %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, K8SYaml, useNumberOpt)
        fmt.Printf("K8SYAML Unmarshal With JSONOpt %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
    }
}
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末褥蚯,一起剝皮案震驚了整個濱河市挚冤,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌遵岩,老刑警劉巖你辣,帶你破解...
    沈念sama閱讀 218,546評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異尘执,居然都是意外死亡舍哄,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,224評論 3 395
  • 文/潘曉璐 我一進(jìn)店門誊锭,熙熙樓的掌柜王于貴愁眉苦臉地迎上來表悬,“玉大人,你說我怎么就攤上這事丧靡◇∧” “怎么了?”我有些...
    開封第一講書人閱讀 164,911評論 0 354
  • 文/不壞的土叔 我叫張陵温治,是天一觀的道長饭庞。 經(jīng)常有香客問我,道長熬荆,這世上最難降的妖魔是什么舟山? 我笑而不...
    開封第一講書人閱讀 58,737評論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮卤恳,結(jié)果婚禮上累盗,老公的妹妹穿的比我還像新娘。我一直安慰自己突琳,他們只是感情好若债,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,753評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著拆融,像睡著了一般蠢琳。 火紅的嫁衣襯著肌膚如雪啊终。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,598評論 1 305
  • 那天挪凑,我揣著相機(jī)與錄音孕索,去河邊找鬼。 笑死躏碳,一個胖子當(dāng)著我的面吹牛搞旭,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播菇绵,決...
    沈念sama閱讀 40,338評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼肄渗,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了咬最?” 一聲冷哼從身側(cè)響起翎嫡,我...
    開封第一講書人閱讀 39,249評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎永乌,沒想到半個月后惑申,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,696評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡翅雏,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,888評論 3 336
  • 正文 我和宋清朗相戀三年圈驼,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片望几。...
    茶點(diǎn)故事閱讀 40,013評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡绩脆,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出橄抹,到底是詐尸還是另有隱情靴迫,我是刑警寧澤,帶...
    沈念sama閱讀 35,731評論 5 346
  • 正文 年R本政府宣布楼誓,位于F島的核電站玉锌,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏疟羹。R本人自食惡果不足惜主守,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,348評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望阁猜。 院中可真熱鬧丸逸,春花似錦蹋艺、人聲如沸剃袍。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,929評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽民效。三九已至憔维,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間畏邢,已是汗流浹背业扒。 一陣腳步聲響...
    開封第一講書人閱讀 33,048評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留舒萎,地道東北人程储。 一個月前我還...
    沈念sama閱讀 48,203評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像臂寝,于是被迫代替她去往敵國和親章鲤。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,960評論 2 355