hadoop序列化和反序列化

1 什么是序列化和反序列化

序列化就是將內(nèi)存中的對(duì)象或數(shù)據(jù)桃熄，轉(zhuǎn)換成字節(jié)數(shù)組，以便于存儲(chǔ)（持久化）和網(wǎng)絡(luò)傳輸型奥。
反序列化就是將字節(jié)數(shù)組轉(zhuǎn)換成內(nèi)存對(duì)象瞳收。

2 JDK中的序列化和反序列化

使用java提供的序列化必須遵循三個(gè)條件：

1. 該類(lèi)必須實(shí)現(xiàn)java.io.Serializable接口。
2. 對(duì)于該類(lèi)的所有無(wú)法序列化的字段必須使用transient修飾厢汹。
3. 加上序列化版本ID serialVersionUID螟深，這個(gè)是用來(lái)識(shí)別序列化的之前的類(lèi)到底是哪一個(gè)。比如希望類(lèi)的不同版本對(duì)序列化兼容烫葬，需要確保類(lèi)的不同版本具有相同的serialVersionUID

在使用JDK提供的序列化機(jī)制時(shí)需要借助一對(duì)I/O流，ObjectOutputStream和ObjectInputStream這兩個(gè)流分別是進(jìn)行序列化和反序列化操作垢箕，通過(guò)ObjectOutputStream類(lèi)的writeObject(Object obj)方法可以將對(duì)象寫(xiě)入到輸出流中兑巾，通過(guò)ObjectInputStream類(lèi)的readObject()方法可以從該輸入流中反序列化該對(duì)象出來(lái)。

JDK序列化算法一般會(huì)有如下步驟：

1. 將對(duì)象實(shí)例相關(guān)的類(lèi)元數(shù)據(jù)輸出帅掘；
2. 遞歸輸出類(lèi)的超類(lèi)描述直到不再有超類(lèi)堂油；
3. 類(lèi)元數(shù)據(jù)完了之后，開(kāi)始從最頂層的超類(lèi)開(kāi)始輸出對(duì)象實(shí)例的實(shí)際數(shù)據(jù)值吱窝；
4. 從上至下遞歸輸出實(shí)例的數(shù)據(jù)

3 Hadoop序列化和反序列化

在hadoop中癣诱，hadoop實(shí)現(xiàn)了一套自己的序列化框架，相對(duì)于JDK比較簡(jiǎn)潔鲫惶，在集群信息的傳遞上速度更快实抡，容量更小。

3.1 Hadoop序列化的特點(diǎn)

1. 數(shù)據(jù)緊湊

   帶寬是集群中信息傳遞的最寶貴的資源赏淌，所以我們必須設(shè)法縮小傳遞信息的大小啄清。為了更好的控制序列化整個(gè)流程使用Writable對(duì)象，java序列化過(guò)程中會(huì)保存類(lèi)的所有信息以及依賴(lài)等掷贾，Hadoop序列化不需要荣茫。

2. 對(duì)象可重用

   JDK的反序列化會(huì)不斷地創(chuàng)建對(duì)象，這肯定會(huì)造成一定的系統(tǒng)開(kāi)銷(xiāo)港准，但是在hadoop反序列化中咧欣，能重復(fù)的利用一個(gè)對(duì)象的readField方法來(lái)重新產(chǎn)生不同的對(duì)象。

3. 可擴(kuò)展性

   hadoop自己寫(xiě)序列化很容易疗杉，可以通過(guò)實(shí)現(xiàn)hadoop的Writable接口實(shí)現(xiàn)序列化烟具，或者實(shí)現(xiàn)WritableComparable接口實(shí)現(xiàn)可比較大小的序列化對(duì)象奠蹬。

4 Hadoop Writable框架

@InterfaceAudience.Public
@InterfaceStability.Stable
public interface Writable {
  /** 
   * 序列化一個(gè)對(duì)象，將一個(gè)對(duì)象按照某個(gè)數(shù)據(jù)傳輸格式寫(xiě)入到out流中
   * Serialize the fields of this object to <code>out</code>.
   * 
   * @param out <code>DataOuput</code> to serialize this object into.
   * @throws IOException
   */
  void write(DataOutput out) throws IOException;

  /** 
   * 反序列化冀痕，從in流中讀入字節(jié)，按照某個(gè)數(shù)據(jù)傳輸格式讀出到一個(gè)對(duì)象中
   * Deserialize the fields of this object from <code>in</code>.  
   * 
   * <p>For efficiency, implementations should attempt to re-use storage in the 
   * existing object where possible.</p>
   * 
   * @param in <code>DataInput</code> to deseriablize this object from.
   * @throws IOException
   */
  void readFields(DataInput in) throws IOException;
}

5 代碼示例

5.1 序列化反序列化工具函數(shù)

/** 
 * 將一個(gè)實(shí)現(xiàn)了Writable接口的對(duì)象序列化成字節(jié)流 
 * @param writable 
 * @return 
 * @throws IOException 
 */ 
public static byte[] serialize2Bytes(Writable writable) throws IOException{
    ByteArrayOutputStream baos = new ByteArrayOutputStream() ;
    DataOutputStream dos = new DataOutputStream(baos);
    writable.write(dos);
    dos.close();
    baos.close();
    return baos.toByteArray();
}

 /** 
 * 將字節(jié)流轉(zhuǎn)化為實(shí)現(xiàn)了Writable接口的對(duì)象 
 * @param writable 
 * @param bytes 
 * @return 
 * @throws IOException 
 */  
public static void deserializeFromBytes(Writable writable, byte[] bytes) throws IOException{
    ByteArrayInputStream bais = new ByteArrayInputStream(bytes) ;
    DataInputStream dataIn = new DataInputStream(bais) ;
    writable.readFields(dataIn) ;
    dataIn.close();
    bais.close();
}

/** 
 * 將一個(gè)實(shí)現(xiàn)了Writable接口的對(duì)象序列化到文件中
 * @param writable
 * @param file
 * @return 
 * @throws IOException 
 */ 
public static void serialize2File(Writable writable, File file) throws IOException{
    FileOutputStream fos = new FileOutputStream(file) ;
    DataOutputStream dos = new DataOutputStream(fos) ;
    writable.write(dos);
    dos.close();
    fos.close();
}

 /** 
 * 將文件輸入流流轉(zhuǎn)化為實(shí)現(xiàn)了Writable接口的對(duì)象 
 * @param writable 
 * @param file 
 * @return 
 * @throws IOException 
 */  
public static void deserializeFromBytes(Writable writable, File file) throws IOException{
    FileInputStream fis = new FileInputStream(file);
    DataInputStream dataIn = new DataInputStream(fis) ;
    writable.readFields(dataIn) ;
    dataIn.close();
    fis.close();
}

5.2 自定義類(lèi)型示例（實(shí)現(xiàn)WritableComparable接口）

package com.seriable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;

public class PeopleWritable implements WritableComparable<PeopleWritable> {
    private IntWritable age;
    private Text name;
    public PeopleWritable(){
    }
    public PeopleWritable(IntWritable age, Text name) {
        super();
        this.age = age;
        this.name = name;
    }
    public IntWritable getAge() {
        return age;
    }
    public void setAge(IntWritable age) {
        this.age = age;
    }
    public Text getName() {
        return name;
    }
    public void setName(Text name) {
        this.name = name;
    }
    //序列化方法
    public void write(DataOutput out) throws IOException {
        age.write(out);
        name.write(out);
    }
    //反序列化方法
    public void readFields(DataInput in) throws IOException {
        age.readFields(in);
        name.readFields(in);
    }
    //比較函數(shù)，使得對(duì)象可比較大小
    public int compareTo(PeopleWritable o) {
        int cmp = age.compareTo(o.getAge());
        if(0 !=cmp)return cmp;
        return name.compareTo(o.getName());
    }
}

參考博文

http://www.cnblogs.com/kxdblog/p/4799282.html

http://www.cnblogs.com/zl1991/p/6322361.html

http://blog.csdn.net/zhang0558/article/details/53444533