FlatBuffer優(yōu)化數(shù)據(jù)傳輸效率

引言

數(shù)據(jù)序列化

數(shù)據(jù)序列化的行為可能發(fā)生在數(shù)據(jù)傳遞過(guò)程中的任何階段撼短,例如網(wǎng)絡(luò)傳輸靶擦,不同進(jìn)程間數(shù)據(jù)傳遞腮考,不同類之間的參數(shù)傳遞,把數(shù)據(jù)存儲(chǔ)到磁盤上等等玄捕。通常情況下踩蔚,我們會(huì)把那些需要序列化的類實(shí)現(xiàn)Serializable接口(如下圖所示),但是這種傳統(tǒng)的做法效率不高枚粘,實(shí)施的過(guò)程會(huì)消耗更多的內(nèi)存馅闽。
如果使用GSON庫(kù)來(lái)處理這個(gè)序列化的問(wèn)題,不僅僅執(zhí)行速度更快馍迄,內(nèi)存的使用效率也更高福也。Android的XML布局文件會(huì)在編譯的階段被轉(zhuǎn)換成更加復(fù)雜的格式,具備更加高效的執(zhí)行性能與更高的內(nèi)存使用效率

Json 和FlatBuffer的對(duì)比

json 數(shù)據(jù)的序列化和反序列化:基于字符串的
FlatBuffer:基于二進(jìn)制的文件攀圈。


json傳輸?shù)倪^(guò)程解析.png

FlatBuffers的有點(diǎn)

FlatBuffers是一個(gè)開源的跨平臺(tái)數(shù)據(jù)序列化庫(kù)阻课,可以應(yīng)用到幾乎任何語(yǔ)言(C++, C#, Go, Java, JavaScript, PHP, Python),最開始是 Google 為游戲或者其他對(duì)性能要求很高的應(yīng)用開發(fā)的软吐。項(xiàng)目地址在 GitHub 上呛梆。官方的文檔在 這里

FlatBuffer 相對(duì)于其他序列化技術(shù)犬辰,例如 XML嗦篱,JSON,Protocol Buffers 等幌缝,有哪些優(yōu)勢(shì)呢灸促?官方文檔的說(shuō)法如下:

  1. 直接讀取序列化數(shù)據(jù),而不需要解析(Parsing)或者解包(Unpacking):FlatBuffer 把數(shù)據(jù)層級(jí)結(jié)構(gòu)保存在一個(gè)扁平化的二進(jìn)制緩存(一維數(shù)組)中涵卵,同時(shí)能夠保持直接獲取里面的結(jié)構(gòu)化數(shù)據(jù)浴栽,而不需要解析,并且還能保證數(shù)據(jù)結(jié)構(gòu)變化的前后向兼容缘厢。
  2. 高效的內(nèi)存使用和速度:FlatBuffer 使用過(guò)程中吃度,不需要額外的內(nèi)存,幾乎接近原始數(shù)據(jù)在內(nèi)存中的大小贴硫。
  3. 靈活:數(shù)據(jù)能夠前后向兼容椿每,并且能夠靈活控制你的數(shù)據(jù)結(jié)構(gòu)伊者。
  4. 很少的代碼侵入性:使用少量的自動(dòng)生成的代碼即可實(shí)現(xiàn)。
  5. 強(qiáng)數(shù)據(jù)類性间护,易于使用亦渗,跨平臺(tái),幾乎語(yǔ)言無(wú)關(guān)汁尺。

在做 Android 開發(fā)的時(shí)候法精,JSON 是最常用的數(shù)據(jù)序列化技術(shù)。我們知道痴突,JSON 的可讀性很強(qiáng)搂蜓,但是序列化和反序列化性能卻是最差的。解析的時(shí)候辽装,JSON 解析器首先帮碰,需要在內(nèi)存中初始化一個(gè)對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu),這個(gè)事件經(jīng)常會(huì)消耗 100ms ~ 200ms2拾积;解析過(guò)程中殉挽,要產(chǎn)生大量的臨時(shí)變量,造成 Java 虛擬機(jī)的 GC 和內(nèi)存抖動(dòng)拓巧,解析 20KB 的數(shù)據(jù)斯碌,大概會(huì)消耗 100KB 的臨時(shí)內(nèi)存2。FlatBuffers 就解決了這些問(wèn)題 肛度。

FlatBuffers使用方法

簡(jiǎn)單來(lái)說(shuō)傻唾,F(xiàn)latBuffers 的使用方法是,首先按照使用特定的 IDL 定義數(shù)據(jù)結(jié)構(gòu) schema贤斜,然后使用編譯工具 flatc 編譯 schema 生成對(duì)應(yīng)的代碼策吠,把生成的代碼應(yīng)用到工程中即可逛裤。下面詳細(xì)介紹每一步瘩绒。
1.首先,我們需要得到 flatc带族,這個(gè)需要從源碼編輯得到锁荔。從 GitHub 上 Clone 代碼,
$ git clone https://github.com/google/flatbuffers

2.編寫 Schema 的詳細(xì)文檔在這里蝙砌。其語(yǔ)法和 C 語(yǔ)言類似阳堕,比較容易上手。
例如:

class Person {  
    String name;
    int friendshipStatus;
    Person spouse;
    List<Person>friends;
}

編寫成 Schema 如下择克,文件名為 Person.fbs:

namespace com.race604.fbs;

enum FriendshipStatus: int {Friend = 1, NotFriend}

table Person {  
  name: string;
  friendshipStatus: FriendshipStatus = Friend;
  spouse: Person;
  friends: [Person];
}

root_type Person;  

3.使用 flatc 可以把 Schema 編譯成多種編程語(yǔ)言恬总,我們僅僅討論 Android 平臺(tái),所以把 Schema 編譯成 Java肚邢,找到flatc.exe執(zhí)行命令如下

$ ./flatc –j -b Person.fbs

在當(dāng)前目錄生成如下文件:

└── com
    └── race604
        └── fbs
            ├── FriendshipStatus.java
            └── Person.java

4.下面我們來(lái)構(gòu)建一個(gè) Person 對(duì)象

private ByteBuffer createPerson() {
FlatBufferBuilder builder = new FlatBufferBuilder(0);
    int spouseName = builder.createString("Mary");
    int spouse = Person.createPerson(builder, spouseName, FriendshipStatus.Friend, 0, 0);

    int friendDave = Person.createPerson(builder, builder.createString("Dave"),
            FriendshipStatus.Friend, 0, 0);
    int friendTom = Person.createPerson(builder, builder.createString("Tom"),
            FriendshipStatus.Friend, 0, 0);

    int name = builder.createString("John");
    int[] friendsArr = new int[]{ friendDave, friendTom };
    int friends = Person.createFriendsVector(builder, friendsArr);

    Person.startPerson(builder);
    Person.addName(builder, name);
    Person.addSpouse(builder, spouse);
    Person.addFriends(builder, friends);
    Person.addFriendshipStatus(builder, FriendshipStatus.NotFriend);

    int john = Person.endPerson(builder);
    builder.finish(john);

    return builder.dataBuffer();
}

基本原理

如官方文檔的介紹壹堰,FlatBuffers 就像它的名字所表示的一樣拭卿,就是把結(jié)構(gòu)化的對(duì)象,用一個(gè)扁平化(Flat)的緩沖區(qū)保存贱纠,簡(jiǎn)單的來(lái)說(shuō)就是把內(nèi)存對(duì)象數(shù)據(jù)峻厚,保存在一個(gè)一維的數(shù)組中。

image.png

可見谆焊,F(xiàn)latBuffers 保存在一個(gè) byte 數(shù)組中惠桃,有一個(gè)“支點(diǎn)”指針(pivot point)以此為界,存儲(chǔ)的內(nèi)容分為兩個(gè)部分:元數(shù)據(jù)和數(shù)據(jù)內(nèi)容辖试。其中元數(shù)據(jù)部分就是數(shù)據(jù)在前面辜王,其長(zhǎng)度等于對(duì)象中的字段數(shù)量,每個(gè) byte 保存對(duì)應(yīng)字段內(nèi)容在數(shù)組中的索引(從支點(diǎn)位置開始計(jì)算)罐孝。
如圖誓禁,上面的 Person 對(duì)象第一個(gè)字段是 name,其值的索引位置是 1肾档,所以從索引位置 1 開始的字符串摹恰,就是 name 字段的值 "John"。第二個(gè)字段是 friendshipStatus怒见,其索引值是 6俗慈,找到值為 2, 表示 NotFriend遣耍。第三個(gè)字段是 spouse闺阱,也一個(gè) Person 對(duì)象,索引值是 12舵变,指向的是此對(duì)象的支點(diǎn)位置酣溃。第四個(gè)字段是一個(gè)數(shù)組,圖中表示的數(shù)組為空纪隙,所以索引值是 0赊豌。
通過(guò)上面的解析,可以看出绵咱,F(xiàn)latBuffers 通過(guò)自己分配和管理對(duì)象的存儲(chǔ)碘饼,使對(duì)象在內(nèi)存中就是線性結(jié)構(gòu)化的,直接可以把內(nèi)存內(nèi)容保存或者發(fā)送出去悲伶,加載“解析”數(shù)據(jù)只需要把 byte 數(shù)組加載到內(nèi)存中即可艾恼,不需要任何解析,也不產(chǎn)生任何中間變量麸锉。

使用建議

通過(guò)前面的體驗(yàn)钠绍,F(xiàn)latBuffers 幾乎秒殺了 JSON
下面說(shuō)說(shuō) FlatBuffers 的幾點(diǎn)缺點(diǎn):

  1. FlatBuffers 需要生成代碼,對(duì)代碼有侵入性花沉;
  2. 數(shù)據(jù)序列化沒(méi)有可讀性柳爽,不方便 Debug纳寂;
  3. 構(gòu)建 FlatBuffers 對(duì)象比較麻煩,不直觀泻拦,特別是如果對(duì)象比較復(fù)雜情況下需要寫大段的代碼毙芜;
  4. 數(shù)據(jù)的所有內(nèi)容需要使用 Schema 嚴(yán)格定義,靈活性不如 JSON争拐。
    所以腋粥,在什么情況下選擇使用 FlatBuffers 呢?個(gè)人感覺(jué)需要滿足以下幾點(diǎn):
  5. 項(xiàng)目中有大量數(shù)據(jù)傳輸和解析架曹,使用 JSON 成為了性能瓶頸隘冲;
  6. 穩(wěn)定的數(shù)據(jù)結(jié)構(gòu)定義。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末绑雄,一起剝皮案震驚了整個(gè)濱河市展辞,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌万牺,老刑警劉巖罗珍,帶你破解...
    沈念sama閱讀 221,548評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異脚粟,居然都是意外死亡覆旱,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,497評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門核无,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)扣唱,“玉大人,你說(shuō)我怎么就攤上這事团南≡肷常” “怎么了?”我有些...
    開封第一講書人閱讀 167,990評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵吐根,是天一觀的道長(zhǎng)正歼。 經(jīng)常有香客問(wèn)我,道長(zhǎng)佑惠,這世上最難降的妖魔是什么朋腋? 我笑而不...
    開封第一講書人閱讀 59,618評(píng)論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮膜楷,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘贞奋。我一直安慰自己赌厅,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,618評(píng)論 6 397
  • 文/花漫 我一把揭開白布轿塔。 她就那樣靜靜地躺著特愿,像睡著了一般仲墨。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上揍障,一...
    開封第一講書人閱讀 52,246評(píng)論 1 308
  • 那天目养,我揣著相機(jī)與錄音,去河邊找鬼毒嫡。 笑死癌蚁,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的兜畸。 我是一名探鬼主播努释,決...
    沈念sama閱讀 40,819評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼咬摇!你這毒婦竟也來(lái)了伐蒂?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,725評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤肛鹏,失蹤者是張志新(化名)和其女友劉穎逸邦,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體在扰,經(jīng)...
    沈念sama閱讀 46,268評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡昭雌,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,356評(píng)論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了健田。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片烛卧。...
    茶點(diǎn)故事閱讀 40,488評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖妓局,靈堂內(nèi)的尸體忽然破棺而出总放,到底是詐尸還是另有隱情,我是刑警寧澤好爬,帶...
    沈念sama閱讀 36,181評(píng)論 5 350
  • 正文 年R本政府宣布局雄,位于F島的核電站,受9級(jí)特大地震影響存炮,放射性物質(zhì)發(fā)生泄漏炬搭。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,862評(píng)論 3 333
  • 文/蒙蒙 一穆桂、第九天 我趴在偏房一處隱蔽的房頂上張望宫盔。 院中可真熱鬧,春花似錦享完、人聲如沸灼芭。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,331評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)彼绷。三九已至巍佑,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間寄悯,已是汗流浹背萤衰。 一陣腳步聲響...
    開封第一講書人閱讀 33,445評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留猜旬,地道東北人脆栋。 一個(gè)月前我還...
    沈念sama閱讀 48,897評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像昔馋,于是被迫代替她去往敵國(guó)和親筹吐。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,500評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容