舉例: 300 的二進(jìn)制為 10 0101100

第一位：1（有后續(xù)） + 0101100
第二位：0（無后續(xù)） + 0000010

最終結(jié)果： 101011000000010

可見频蛔，由于是小端字節(jié)序，值越小Varints序列化后使用的Bytes越少秦叛。
然而負(fù)數(shù)在補(bǔ)碼的首位是1晦溪，則使用Varint序列化后，所有負(fù)數(shù)都相當(dāng)于非常大的數(shù)挣跋，
這造成了負(fù)數(shù)序列化后使用的bytes增加三圆，為了解決這個(gè)問題對(duì)于負(fù)數(shù)采用sint32或sint64。
而sint先采用Zigzag方法避免上述問題再通過Varint序列化。

Zigzag編碼規(guī)則

對(duì)于sint32采用(n<<1)^(n>>31)
對(duì)于sint32采用(n<<1)^(n>>63)

其中>>操作當(dāng)操作數(shù)為負(fù)數(shù)時(shí)高位補(bǔ)1正數(shù)時(shí)高位補(bǔ)1

Zigzag編碼將整數(shù)重新映射到定義域舟肉，使得整數(shù)映射后的補(bǔ)碼長度和絕對(duì)值的大小成正相關(guān):

length-delimited編碼

string,bytes都屬于length-delimited編碼,length-delimited(wire_type=2)的編碼方式：key+length+content

• key的編碼方式是統(tǒng)一的
• length采用varints編碼方式
• content就是由length指定的長度的Bytes

消息編碼規(guī)則

• message都是以一組或多組key-value對(duì)組成,key和value分別采用不同的編碼方式
• 序列化時(shí)修噪，將message中所有key-value序列化成二進(jìn)制字節(jié)流。反序列化時(shí)路媚，解析出所有key-value對(duì)黄琼，
  如果遇到無法識(shí)別的類型，則直接跳過整慎。這種機(jī)制保證了舊有的編/解碼在協(xié)議添加新的字段時(shí)脏款，依舊可以正常工作
• key由兩部分組成，一部分是在定義消息時(shí)對(duì)字段的編號(hào)（field_num^[4]）裤园，另一部分是字段類型（wire_type撤师，編號(hào)最大不超過536870911.
• key編碼方式filed_num<<3|wire_type，編碼后的二進(jìn)制長度是變長的
• value編碼則根據(jù)字段類型進(jìn)行編碼.

生成代碼分析

接下來我將通過protoc.exe生成的java文件,分析protobuf的編解碼過程
首先我們先創(chuàng)建一個(gè)包含protobuf所有類型的.proto

//文件名protobufStruct.proto

//protobuf 版本
syntax = "proto3";

//java的包名
option java_package = "struct.protobuf";
//java中主類的名稱（及public修飾的類的名稱）
option java_outer_classname = "structs";

//基本類型
message baseStruct{

    int32 int32value = 1;
    int64 int64value = 2; 
    uint32 uint32value = 3;
    uint64 uint64value = 4;
    sint32 sint32value = 5;
    sint64 sint64value = 6;
    fixed32 fixed32value = 7;
    fixed64 fixed64value = 8;
    sfixed32 sfixed32value = 9;
    sfixed64 sfixed64value = 10;
    bool boolvalue = 11;
    double doublevalue = 12;
    string stringvalue = 13;
    bytes bytesvalue = 14;
    //枚舉
    enum PhoneType{ 
        MOBILE = 0; 
        HOME = 1;
        WORK = 2;
    }

}
//復(fù)合類型
message complexStruct{
    //map
    map<int32, string> mapvalues= 1;
    //list
    repeated MapFieldEntry map_field = 2;
}
message MapFieldEntry {
  int32 key = 1;
  string value = 2;
}

通過執(zhí)行cmd指令生成java文件

    protoc.exe --java_out=./ protobufStruct.proto

我們可以看到baseStructOrBuilder:

 public interface baseStructOrBuilder extends
      // @@protoc_insertion_point(interface_extends:baseStruct)
      com.google.protobuf.MessageOrBuilder {

    /**
     * <code>int32 int32value = 1;</code>
     */
    int getInt32Value();

    /**
     * <code>int64 int64value = 2;</code>
     */
    long getInt64Value();

    /**
     * <code>uint32 uint32value = 3;</code>
     */
    int getUint32Value();

    /**
     * <code>uint64 uint64value = 4;</code>
     */
    long getUint64Value();

    /**
     * <code>sint32 sint32value = 5;</code>
     */
    int getSint32Value();

    /**
     * <code>sint64 sint64value = 6;</code>
     */
    long getSint64Value();

    /**
     * <code>fixed32 fixed32value = 7;</code>
     */
    int getFixed32Value();

    /**
     * <code>fixed64 fixed64value = 8;</code>
     */
    long getFixed64Value();

    /**
     * <code>sfixed32 sfixed32value = 9;</code>
     */
    int getSfixed32Value();

    /**
     * <code>sfixed64 sfixed64value = 10;</code>
     */
    long getSfixed64Value();

    /**
     * <code>bool boolvalue = 11;</code>
     */
    boolean getBoolvalue();

    /**
     * <code>double doublevalue = 12;</code>
     */
    double getDoublevalue();

    /**
     * <code>string stringvalue = 13;</code>
     */
    java.lang.String getStringvalue();
    /**
     * <code>string stringvalue = 13;</code>
     */
    com.google.protobuf.ByteString
        getStringvalueBytes();

    /**
     * <code>bytes bytesvalue = 14;</code>
     */
    com.google.protobuf.ByteString getBytesvalue();

    /**
     * <code>.baseStruct.PhoneType type = 15;</code>
     */
    int getTypeValue();
    /**
     * <code>.baseStruct.PhoneType type = 15;</code>
     */
    struct.protobuf.structs.baseStruct.PhoneType getType();
  }

這里java類型與protobuf的類型關(guān)系完全復(fù)合上面的字段類型表

將message序列化使用writeTo方法：

public void writeTo(com.google.protobuf.CodedOutputStream output)
                        throws java.io.IOException {
      if (int32Value_ != 0) {
        output.writeInt32(1, int32Value_);
      }
      if (int64Value_ != 0L) {
        output.writeInt64(2, int64Value_);
      }
      if (uint32Value_ != 0) {
        output.writeUInt32(3, uint32Value_);
      }
      if (uint64Value_ != 0L) {
        output.writeUInt64(4, uint64Value_);
      }
      if (sint32Value_ != 0) {
        output.writeSInt32(5, sint32Value_);
      }
      if (sint64Value_ != 0L) {
        output.writeSInt64(6, sint64Value_);
      }
      if (fixed32Value_ != 0) {
        output.writeFixed32(7, fixed32Value_);
      }
      if (fixed64Value_ != 0L) {
        output.writeFixed64(8, fixed64Value_);
      }
      if (sfixed32Value_ != 0) {
        output.writeSFixed32(9, sfixed32Value_);
      }
      if (sfixed64Value_ != 0L) {
        output.writeSFixed64(10, sfixed64Value_);
      }
      if (boolvalue_ != false) {
        output.writeBool(11, boolvalue_);
      }
      if (doublevalue_ != 0D) {
        output.writeDouble(12, doublevalue_);
      }
      if (!getStringvalueBytes().isEmpty()) {
        com.google.protobuf.GeneratedMessageV3.writeString(output, 13, stringvalue_);
      }
      if (!bytesvalue_.isEmpty()) {
        output.writeBytes(14, bytesvalue_);
      }
      if (type_ != struct.protobuf.structs.baseStruct.PhoneType.MOBILE.getNumber()) {
        output.writeEnum(15, type_);
      }
      unknownFields.writeTo(output);
    }

可以看出拧揽，當(dāng)一個(gè)值為空剃盾，直接跳過這個(gè)值。如果這個(gè)值存在强法，則寫入它的filed_num和它編碼后的值万俗，
前面講過對(duì)于不同類型的值，有不同的編碼方式饮怯，比如int32使用先Zigzag編碼再Varint編碼闰歪，
而string通過length-delimited編碼,等。

再看看complexStruct的builder和WriteTo方法

public interface complexStructOrBuilder extends
      // @@protoc_insertion_point(interface_extends:complexStruct)
      com.google.protobuf.MessageOrBuilder {

    /**
     * <code>map&lt;int32, string&gt; mapvalues = 1;</code>
     */
    int getMapvaluesCount();
    /**
     * <code>map&lt;int32, string&gt; mapvalues = 1;</code>
     */
    boolean containsMapvalues(
        int key);
    /**
     * Use {@link #getMapvaluesMap()} instead.
     */
    @java.lang.Deprecated
    java.util.Map<java.lang.Integer, java.lang.String>
    getMapvalues();
    /**
     * <code>map&lt;int32, string&gt; mapvalues = 1;</code>
     */
    java.util.Map<java.lang.Integer, java.lang.String>
    getMapvaluesMap();
    /**
     * <code>map&lt;int32, string&gt; mapvalues = 1;</code>
     */

    java.lang.String getMapvaluesOrDefault(
        int key,
        java.lang.String defaultValue);
    /**
     * <code>map&lt;int32, string&gt; mapvalues = 1;</code>
     */

    java.lang.String getMapvaluesOrThrow(
        int key);

    /**
     * <code>repeated .MapFieldEntry map_field = 2;</code>
     */
    java.util.List<struct.protobuf.structs.MapFieldEntry> 
        getMapFieldList();
    /**
     * <code>repeated .MapFieldEntry map_field = 2;</code>
     */
    struct.protobuf.structs.MapFieldEntry getMapField(int index);
    /**
     * <code>repeated .MapFieldEntry map_field = 2;</code>
     */
    int getMapFieldCount();
    /**
     * <code>repeated .MapFieldEntry map_field = 2;</code>
     */
    java.util.List<? extends struct.protobuf.structs.MapFieldEntryOrBuilder> 
        getMapFieldOrBuilderList();
    /**
     * <code>repeated .MapFieldEntry map_field = 2;</code>
     */
    struct.protobuf.structs.MapFieldEntryOrBuilder getMapFieldOrBuilder(
        int index);
  }

可以看出protobuf中的repected對(duì)應(yīng)java.util.list
map對(duì)應(yīng)java.util.Map

writeTo方法：

public void writeTo(com.google.protobuf.CodedOutputStream output)
                        throws java.io.IOException {
      com.google.protobuf.GeneratedMessageV3
        .serializeIntegerMapTo(
          output,
          internalGetMapvalues(),
          MapvaluesDefaultEntryHolder.defaultEntry,
          1);
      for (int i = 0; i < mapField_.size(); i++) {
        output.writeMessage(2, mapField_.get(i));
      }
      unknownFields.writeTo(output);
    }

可以看出蓖墅，被repected修飾的字段库倘，這個(gè)字段中每個(gè)子項(xiàng)都用相同的field_num。
這樣的優(yōu)點(diǎn)是不用特殊標(biāo)識(shí)就能標(biāo)識(shí)一個(gè)集合字段论矾。
但它的缺點(diǎn)很明顯教翩，整個(gè)protobuf只能標(biāo)識(shí)一種集合類型。
也就是說map肯定轉(zhuǎn)成list然后再編碼的

protected static <V> void serializeIntegerMapTo(
      CodedOutputStream out,
      MapField<Integer, V> field,
      MapEntry<Integer, V> defaultEntry,
      int fieldNumber) throws IOException {
    Map<Integer, V> m = field.getMap();
    if (!out.isSerializationDeterministic()) {
      serializeMapTo(out, m, defaultEntry, fieldNumber);
      return;
    }
    // Sorting the unboxed keys and then look up the values during serialziation is 2x faster
    // than sorting map entries with a custom comparator directly.
    int[] keys = new int[m.size()];
    int index = 0;
    for (int k : m.keySet()) {
      keys[index++] = k;
    }
    Arrays.sort(keys);
    for (int key : keys) {
      out.writeMessage(fieldNumber,
          defaultEntry.newBuilderForType()
              .setKey(key)
              .setValue(m.get(key))
              .build());
    }
  }
 /** Serialize the map using the iteration order. */
private static <K, V> void serializeMapTo(
      CodedOutputStream out,
      Map<K, V> m,
      MapEntry<K, V> defaultEntry,
      int fieldNumber)
      throws IOException {
    for (Map.Entry<K, V> entry : m.entrySet()) {
      out.writeMessage(fieldNumber,
          defaultEntry.newBuilderForType()
              .setKey(entry.getKey())
              .setValue(entry.getValue())
              .build());
    }

通過serializeIntegerMapTo和serializeMapTo方法可知：
當(dāng)Map最終是轉(zhuǎn)換成list來編碼的贪壳，其中map轉(zhuǎn)換為list有兩種順序饱亿，
一種是按照map的迭代順序存入list
一種是按照key的字典序

綜上，我們通過分析代碼理解了protobuf的編碼過程闰靴，當(dāng)然解碼過程其實(shí)也就是把編碼過程倒過來彪笼。
解碼需要注意的是zigzag解碼方式：
當(dāng)使用支持無符號(hào)移位的語言時(shí)可以使用：

    n = (n >>> 1)^(-(n & 1))

當(dāng)使用像python這類不支持無符號(hào)移位的語言可以使用：

    n = (n ^ (-(n & 1)) )>> 1

1. 異構(gòu)網(wǎng)絡(luò)環(huán)境（Heterogeneous Network Environments）是指由不同制造商生產(chǎn)的計(jì)算機(jī)和系統(tǒng)組成的網(wǎng)絡(luò)環(huán)境。這些計(jì)算機(jī)系統(tǒng)運(yùn)行不同的操作系統(tǒng)和通信協(xié)議蚂且，想統(tǒng)一其計(jì)算機(jī)資源的機(jī)構(gòu)通常會(huì)面臨集成異種機(jī)系統(tǒng)的任務(wù)配猫。一般地，每一個(gè)部門或分部已經(jīng)根據(jù)操作系統(tǒng)杏死、局域網(wǎng)拓?fù)浣Y(jié)構(gòu)泵肄、通信協(xié)議捆交、應(yīng)用程序、電子函件系統(tǒng)以及其它因素規(guī)定了自己的網(wǎng)絡(luò)需要腐巢。企業(yè)網(wǎng)的目標(biāo)就是使這些分散的資源可以進(jìn)行互連和互操作品追，以便網(wǎng)絡(luò)用戶可以和其他用戶一起共享文件和電子函件，或者訪問企業(yè)的數(shù)據(jù)資源系忙。 ?

2. 為了更好的跨語言性诵盼，google已將protobuf v2中的required刪去惠豺，默認(rèn)都是optional银还。并且也不在使用默認(rèn)值及[default = * ],更多詳見https://github.com/google/protobuf/blob/master/CHANGES.txt。 ?

3. 在知乎上看見一條關(guān)于protobuf v3中使用Map的警告：protobuf v3用了Emitter洁墙，Unity3d的il2cpp是不支持的蛹疯，用Unity的留心了。 ?

4. field_num及為string name = 1其中1就是name的field_num热监。 ?