# Part 1: Protobuf Intro
protobuf documentation詳細(xì)介紹了關(guān)于protobuf的基本概念和初步使用法逻恐。
Protobuf是Google開(kāi)源的一種可用于結(jié)構(gòu)化數(shù)據(jù)串行化(序列化)的數(shù)據(jù)緩存格式宁舰,適用于數(shù)據(jù)存儲(chǔ)以及RPC數(shù)據(jù)交換格式野揪。Protobuf將一個(gè)文件結(jié)構(gòu)化為多個(gè)message組合而成嗡呼。
就我理解源祈,好處有:
- 方便的序列化方式虫溜。提供了簡(jiǎn)單明了的接口來(lái)對(duì)自己定義好的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行序列化和反序列化合敦。
- 適合數(shù)據(jù)保密桩皿。若沒(méi)有用戶定義好的.proto格式豌汇,但看序列化到硬盤的文件很難知曉數(shù)據(jù)內(nèi)容。
- 跨語(yǔ)言泄隔,定義一個(gè).proto格式拒贱,再任何語(yǔ)言下均可以使用,使用提供的不同語(yǔ)言的wrapper即可佛嬉。
# Part 2: Protobuf Installaiton in MacOS
官網(wǎng)下載protobuf逻澳,此時(shí)的最新版本是 3.6.1
解壓下載的文件并進(jìn)入該目錄
./configure
make
make check
sudo make install
順利安裝后,使用which protoc和protoc --version來(lái)查看proto版本暖呕。
# Part 3: Protobuf Definition
先看一個(gè)例子
syntax = "proto3"
package tutorial;
message Person {
required string name = 1;
required int32 id = 2;
optional string email = 3;
enum PhoneType{
MOBILE = 0;
HOME = 1;
WORK = 2;
}
message PhoneNumber {
required string number = 1;
optional PhoneType type = 2 [default = HOME];
}
repeated PhoneNumber phones = 4;
}
message AddressBook {
repeated Person people = 1;
}
開(kāi)頭是package的聲明斜做,用于防止不同工程下的重命名。
protobuf 自動(dòng)生成了一系列成員函數(shù)以便對(duì)信息內(nèi)數(shù)據(jù)進(jìn)行訪問(wèn)湾揽,以上面的Person為例:
// name
inline bool has_name() const;
inline void clear_name();
inline const ::std::string& name() const;
inline void set_name(const ::std::string& value);
inline void set_name(const char * value);
inline ::std::string* mutable_name();
// id
inline bool has_id() const;
inline void clear_id();
inline int32_t id() const;
inline void set_id(int32_t value);
// email
inline bool has_email() const;
inline void clear_email();
inline const ::std::string& email() const;
inline void set_email(const ::std::string& value);
inline void set_email(const char* value);
inline ::std::string* mutable_email();
// phones
inline int phones_size() const;
inline void clear_phones();
inline const ::google::protobuf::RepeatedPtrField< ::tutorial::Person_PhoneNumber >& phones() const;
inline ::google::protobuf::RepeatedPtrField< ::tutorial::Person_PhoneNumber >* mutable_phones();
inline const ::tutorial::Person_PhoneNumber& phones(int index) const;
inline ::tutorial::Person_PhoneNumber* mutable_phones(int index);
inline ::tutorial::Person_PhoneNumber* add_phones();
有以下幾類函數(shù):
getters in lowercase : 和變量名字相同的函數(shù)名稱瓤逼。
setters in highercase: 在變量名字前加上set_。
clear: 用于將變量多置為空態(tài)库物。
除此之外霸旗,還有一系列mutable_函數(shù),能夠得到指向變量的指針戚揭。從而進(jìn)行set或者get操作诱告。mutable調(diào)用時(shí),所有的變量會(huì)自動(dòng)設(shè)置為空毫目。
Repeated類型的信息域具有一些特殊的方法蔬啡,如:
1)size
2)通過(guò)index 訪問(wèn)第幾個(gè)元素
3)通過(guò)add函數(shù)增加新的元素诲侮,此時(shí)也能返回該元素的指針
# Part 4: Protobuf in Bazel
WORKSPACE file:
http_archive(
name = "com_google_protobuf",
urls = [
"https://mirror.bazel.build/github.com/google/protobuf/archive/v3.6.1.tar.gz",
"https://github.com/google/protobuf/archive/v3.6.1.tar.gz",
],
sha256 = "3d4e589d81b2006ca603c1ab712c9715a76227293032d05b26fca603f90b3f5b",
strip_prefix = "protobuf-3.6.1",
)
BUILD file:
proto_library(
name = "person_proto",
srcs = ["Person.proto"],
)
# The cc_proto_library rule generates C++ code for a proto_library rule. It
# must have exactly one proto_library dependency. If you want to use multiple
# proto_library targets, create a separate cc_proto_library target for each
# of them.
#
# Remote repository "com_google_protobuf_cc" must be defined to use this rule.
cc_proto_library(
name = "person_cc_proto",
deps = [":person_proto"],
)
依賴關(guān)系需要按照:同目錄,同工程箱蟆,外部第三方的順序
# Part 5: Protobuf with zlib
zlib是一個(gè)開(kāi)源的壓縮庫(kù)沟绪,實(shí)現(xiàn)的deflate壓縮算法,也是該庫(kù)唯一實(shí)現(xiàn)的壓縮算法空猜。
Que's C++ Studio關(guān)于理解和使用zlib庫(kù)很詳細(xì)绽慈。
對(duì).proto格式的數(shù)據(jù)字段進(jìn)行壓縮用到的是GZIP
一個(gè)簡(jiǎn)單的例子如下:
...
#include "scene.pb.h"
#include <google/protobuf/io/zero_copy_stream_impl.h>
#include <google/protobuf/io/gzip_stream.h>
...
unsigned int const _COMPRESSION_LEVEL = 9;
using namespace google::protobuf::io;
int main() {
GOOGLE_PROTOBUF_VERIFY_VERSION;
Recipe::Scene * scene = new Recipe::Scene();
/*
initialization date in scene
*/
std::ofstream output("scene.art", std::ofstream::out | std::ofstream::trunc | std::ofstream::binary);
OstreamOutputStream outputFileStream(&output);
GzipOutputStream::Options options;
options.format = GzipOutputStream::GZIP;
options.compression_level = _COMPRESSION_LEVEL;
GzipOutputStream gzipOutputStream(&outputFileStream, &options);
if (!scene->SerializeToZeroCopyStream(&gzipOutputStream))
{
std::cerr << "Failed to write scene." << std::endl;
return -1;
}
Recipe::Scene * scene1 = new Recipe::Scene();
{
std::ifstream input("scene.art", std::ifstream::in | std::ifstream::binary);
IstreamInputStream inputFileStream(&input);
GzipInputStream GzipInputStream(&inputFileStream);
if (!scene1->ParseFromZeroCopyStream(&GzipInputStream))
{
std::cerr << "Failed to read scene." << std::endl;
return -1;
}
}
std::cout << "scene1->imageData_size() " << scene1->imageData_size() << std::endl;
google::protobuf::ShutdownProtobufLibrary();
return 0;
}
即直接將.proto數(shù)據(jù)在序列化的同時(shí)進(jìn)行壓縮,對(duì)應(yīng)的辈毯,在反序列時(shí)也是直接parse即可坝疼。
out: ofstream --> OstreamOutputStream --> GZipOutputStream
in: ifstream --> IstreamInputStream --> GZipInputStream