前言
本文旨以實例的方式墨叛,使用CocoaAsyncSocket
這個框架進(jìn)行數(shù)據(jù)封包和拆包抱怔。來解決頻繁的數(shù)據(jù)發(fā)送下,導(dǎo)致的數(shù)據(jù)粘包筒狠、以及較大數(shù)據(jù)(例如圖片舔庶、錄音等等)的發(fā)送抛蚁,導(dǎo)致的數(shù)據(jù)斷包。
本文實例Github
地址:即時通訊的數(shù)據(jù)粘包惕橙、斷包處理實例瞧甩。
注:文章內(nèi)容屬于應(yīng)用的范疇,內(nèi)容相對簡單易懂弥鹦。給大家對數(shù)據(jù)包的處理提供了一個思路肚逸, 希望能拋磚引玉。
它是樓主CocoaAsyncSocket
系列Read
篇解析的一個前置插曲彬坏,至于詳細(xì)的實現(xiàn)原理朦促,作者會在后續(xù)的文章中寫出。
正文
一栓始、什么是粘包务冕?
經(jīng)常我們發(fā)現(xiàn),如果用客戶端同一時間發(fā)送幾條數(shù)據(jù)幻赚,而服務(wù)端只能收到一大條數(shù)據(jù)禀忆,類似下圖:
如圖,由于傳輸?shù)倪^程為數(shù)據(jù)流落恼,經(jīng)過TCP傳輸后箩退,三條數(shù)據(jù)被合并成了一條,這就是數(shù)據(jù)粘包了佳谦。
那么為什么會造成粘包呢戴涝?
原來這是因為TCP使用了優(yōu)化方法(Nagle算法)。
它將多次間隔較小且數(shù)據(jù)量小的數(shù)據(jù)钻蔑,合并成一個大的數(shù)據(jù)塊啥刻,然后進(jìn)行封包。
這么做優(yōu)點也很明顯矢棚,就是為了減少廣域網(wǎng)的小分組數(shù)目郑什,從而減小網(wǎng)絡(luò)擁塞的出現(xiàn)。
具體的內(nèi)容感興趣的可以看看這兩篇文章:
TCP之Nagle算法&&延遲ACK
TCP NAGLE算法和實現(xiàn)
而UDP就不會有這種情況蒲肋,它不會使用塊的合并優(yōu)化算法蘑拯。
這里說到了就順便提一下钝满,由于它支持的是一對多的模式,所以接收端的skbuff
(套接字緩沖區(qū))采用了鏈?zhǔn)浇Y(jié)構(gòu)來記錄每一個到達(dá)的UDP
包申窘,在每個UDP
包中就有了消息頭(消息來源地址弯蚜,端口等信息)。
當(dāng)然除了優(yōu)化算法剃法,TCP和UDP都會因為下面兩種情況造成粘包:
- 發(fā)送端需要等緩沖區(qū)滿才發(fā)送出去碎捺,造成粘包
- 接收方不及時接收緩沖區(qū)的包,造成多個包接收贷洲。
二收厨、什么是斷包?
斷包應(yīng)該還是比較好理解的优构,比如我們發(fā)送一條很大的數(shù)據(jù)包诵叁,類似圖片和錄音等等,很顯然一次發(fā)送或者讀取數(shù)據(jù)的緩沖區(qū)大小是有限的钦椭,所以我們會分段去發(fā)送或者讀取數(shù)據(jù)拧额。
類似下圖:
無論是粘包還是斷包,如果我們要正確解析數(shù)據(jù)彪腔,那么必須要使用一種合理的機制去解包侥锦。這個機制的思路其實很簡單:
- 我們在封包的時候給每個數(shù)據(jù)包加一個長度或者一個開始結(jié)束標(biāo)記。
- 然后我們拆包的時候就能區(qū)分每個數(shù)據(jù)包了德挣,再按照長度或者分解符去分拆成各個數(shù)據(jù)包恭垦。
Talk is cheap. Show me the code
三、實例:基于CocoaAsyncSocket
的封包格嗅,拆包處理署照。
開始動手之前,我們需要去理解下面這幾個方法
//讀取數(shù)據(jù)吗浩,有數(shù)據(jù)就會觸發(fā)代理
- (void)readDataWithTimeout:(NSTimeInterval)timeout tag:(long)tag;
//直到讀到這個長度的數(shù)據(jù),才會觸發(fā)代理
- (void)readDataToLength:(NSUInteger)length withTimeout:(NSTimeInterval)timeout tag:(long)tag;
//直到讀到data這個邊界没隘,才會觸發(fā)代理
- (void)readDataToData:(NSData *)data withTimeout:(NSTimeInterval)timeout tag:(long)tag;
還記得我們之前講:iOS即時通訊懂扼,從入門到“放棄”?中提到過右蒲,這個框架每次讀取數(shù)據(jù)阀湿,必須手動的去調(diào)用上述這些read
方法,而我們之前的實現(xiàn)思路是瑰妄,第一次連接成功的代理觸發(fā)后調(diào)用:
- (void)readDataWithTimeout:(NSTimeInterval)timeout tag:(long)tag;
之后每次收到消息之后陷嘴,都在去調(diào)用一次這個方法,超時為-1间坐,即不超時灾挨。這樣我們每次收到消息邑退,都會即時觸發(fā)我們讀取消息的代理:
- (void)socket:(GCDAsyncSocket *)sock didReadData:(NSData *)data withTag:(long)tag
然而這么做顯然沒有考慮數(shù)據(jù)的拆包,如果我們一條一條的發(fā)送文字信息劳澄,自然沒什么問題地技。如果我們一次發(fā)送數(shù)條,或者發(fā)送大圖片秒拔。那么問題就出來了莫矗,我們解析出來的數(shù)據(jù)顯然是不對的。
這時候我們就需要另外兩個read
方法了砂缩,一個是讀取到指定長度作谚,另一個是讀取到指定邊界。
我們通過自己定義的數(shù)據(jù)邊界庵芭,去調(diào)用這兩個方法妹懒,而觸發(fā)的讀取代理,得到的數(shù)據(jù)才是正確的一個包的數(shù)據(jù)喳挑。
所以我們的核心思路有了:
- 封包的時候給每個包的數(shù)據(jù)加一個標(biāo)記彬伦,來標(biāo)明數(shù)據(jù)的長度和類型(類型顯然是需要的,我們需要知道它是文本伊诵、圖片单绑、還是錄音等等,來用正確的方式處理這個數(shù)據(jù))曹宴。
- 拆包的時候搂橙,先獲取到我們給每個包的標(biāo)記,然后根據(jù)標(biāo)記的數(shù)據(jù)長度笛坦,去獲取數(shù)據(jù)区转。最后再根據(jù)標(biāo)記的類型去處理數(shù)據(jù)。(文字輸出版扩、圖片展示废离、錄音播放等等)。
接著我們可以開始動手了:
這里我們首先需要一個服務(wù)端礁芦,一個客戶端蜻韭。為了簡單,我們都用OC
來實現(xiàn)柿扣。
其中我們客戶端用手機肖方,服務(wù)端我們用Xcode
模擬器。(由于Xcode只能同一時間運行一個模擬器...)
這里我們用客戶端封包發(fā)送數(shù)據(jù)未状,然后服務(wù)端拆包解析數(shù)據(jù)俯画。
我們先來看看客戶端的代碼:
static NSString * Khost = @"10.10.100.48";
static const uint16_t Kport = 6969;
//建立連接
- (BOOL)connect
{
return [gcdSocket connectToHost:Khost onPort:Kport error:nil];
}
初始化略過了,大家可以看看github
中的代碼司草,這里需要說的是艰垂,為了連接上本機的服務(wù)端泡仗,我們這里的host
為服務(wù)端的IP
地址:
端口為6969(只需和服務(wù)端accpet
端口一致即可)。
注意:如果大家要運行github
上的demo材泄,只需修改這個host
地址即可沮焕,把它改成你電腦(服務(wù)端)的IP地址。
接著我們來看看write
方法拉宗,我們在該方法中進(jìn)行封包:
//發(fā)送消息
- (void)sendMsg
{
NSData *data = [@"你好" dataUsingEncoding:NSUTF8StringEncoding];
NSData *data1 = [@"豬頭" dataUsingEncoding:NSUTF8StringEncoding];
NSData *data2 = [@"先生" dataUsingEncoding:NSUTF8StringEncoding];
NSData *data3 = [@"今天天氣好" dataUsingEncoding:NSUTF8StringEncoding];
NSData *data4 = [@"吃飯了嗎" dataUsingEncoding:NSUTF8StringEncoding];
[self sendData:data :@"txt"];
[self sendData:data1 :@"txt"];
[self sendData:data2 :@"txt"];
[self sendData:data3 :@"txt"];
[self sendData:data4 :@"txt"];
NSString *filePath = [[NSBundle mainBundle]pathForResource:@"test1" ofType:@"jpg"];
NSData *data5 = [NSData dataWithContentsOfFile:filePath];
[self sendData:data5 :@"img"];
}
- (void)sendData:(NSData *)data :(NSString *)type
{
NSUInteger size = data.length;
NSMutableDictionary *headDic = [NSMutableDictionary dictionary];
[headDic setObject:type forKey:@"type"];
[headDic setObject:[NSString stringWithFormat:@"%ld",size] forKey:@"size"];
NSString *jsonStr = [self dictionaryToJson:headDic];
NSData *lengthData = [jsonStr dataUsingEncoding:NSUTF8StringEncoding];
NSMutableData *mData = [NSMutableData dataWithData:lengthData];
//分界
[mData appendData:[GCDAsyncSocket CRLFData]];
[mData appendData:data];
//第二個參數(shù)峦树,請求超時時間
[gcdSocket writeData:mData withTimeout:-1 tag:110];
}
- (NSString *)dictionaryToJson:(NSDictionary *)dic
{
NSError *error = nil;
NSData *jsonData = [NSJSONSerialization dataWithJSONObject:dic options:NSJSONWritingPrettyPrinted error:&error];
return [[NSString alloc] initWithData:jsonData encoding:NSUTF8StringEncoding];
}
總共上述兩個方法,也很簡單旦事,我們發(fā)送了6條數(shù)據(jù)魁巩,前5條為文本形式,最后一條是一個20多M的圖片姐浮。當(dāng)我們點擊發(fā)送的時候會觸發(fā)這個方法谷遂,這6條數(shù)據(jù)會被同時發(fā)出。
這里我們來看看我們是如何封包的:
- 我們定義了一個
headDic
卖鲤,這個是我們數(shù)據(jù)包的頭部肾扰,里面裝了這個數(shù)據(jù)包的大小和類型信息(當(dāng)然,你可以裝更多的其他標(biāo)識信息蛋逾。)然后我們把它轉(zhuǎn)成了json
集晚,最后轉(zhuǎn)成data
。 - 然后我們把這個
head
拼在最前面区匣,接著拼了一個:
[GCDAsyncSocket CRLFData]
這個是什么呢偷拔?其實它就是一個\r\n
。我們用它來做頭部的邊界亏钩。(又或者我們可以規(guī)定一個固定的頭部長度莲绰,來作為邊界,這里僅僅是提供給大家一個思路)姑丑。
- 最后我們把真正的數(shù)據(jù)包給拼接上蛤签。
注:如果你想的更遠(yuǎn)的話,甚至可以在結(jié)尾栅哀,再拼一個包結(jié)束的標(biāo)識符顷啼,后面我們會講到為什么可以這么做。這里暫時先這樣昌屉。
就這樣,我們完成了數(shù)據(jù)的封包和發(fā)送茵瀑。
客戶端有了间驮,接著我們來看看服務(wù)端是如何來拆包的:
首先我們需要監(jiān)聽本機6969
端口。(完整代碼可以見github
)
static const uint16_t Kport = 6969;
//等待連接
- (BOOL)accept
{
NSError *error = nil;
BOOL isSuccess = [gcdSocket acceptOnPort:Kport error:&error];
if (isSuccess) {
NSLog(@"監(jiān)聽成功6969端口成功马昨,等待連接");
return YES;
}else{
NSLog(@"監(jiān)聽失敗竞帽,原因:%@",error);
return NO;
}
}
當(dāng)客戶端連接上來后扛施,調(diào)用成功接收到客戶端連接的代理方法:
- (void)socket:(GCDAsyncSocket *)sock didAcceptNewSocket:(GCDAsyncSocket *)newSocket
{
NSLog(@"接受到socket連接");
[_sockets addObject:newSocket];
[newSocket readDataToData:[GCDAsyncSocket CRLFData] withTimeout:-1 tag:110];
}
這里需要注意的是,成功接收到連接后屹篓,調(diào)用代理我們必須把新生成的這個newSocket
保存起來疙渣,如果它被銷毀了,那么連接就斷開了堆巧,這里我們把它放到了一個數(shù)組中去了妄荔。
這里需要注意的是,成功連接后谍肤,我們就調(diào)用了:
[newSocket readDataToData:[GCDAsyncSocket CRLFData] withTimeout:-1 tag:110];
還記得我們封包的時候啦租,數(shù)據(jù)包頭部之后拼了這么一個分解符data
。這樣荒揣,當(dāng)有數(shù)據(jù)包傳輸過來我們就能獲取到這個數(shù)據(jù)包的頭部(后面的信息先不讀扰窠恰)。
接著我們來看看服務(wù)端的read
代理方法是如何拆包的:
- (void)socket:(GCDAsyncSocket *)sock didReadData:(NSData *)data withTag:(long)tag
{
//先讀取到當(dāng)前數(shù)據(jù)包頭部信息
if (!currentPacketHead) {
currentPacketHead = [NSJSONSerialization
JSONObjectWithData:data
options:NSJSONReadingMutableContainers
error:nil];
if (!currentPacketHead) {
NSLog(@"error:當(dāng)前數(shù)據(jù)包的頭為空");
//斷開這個socket連接或者丟棄這個包的數(shù)據(jù)進(jìn)行下一個包的讀取
//....
return;
}
NSUInteger packetLength = [currentPacketHead[@"size"] integerValue];
//讀到數(shù)據(jù)包的大小
[sock readDataToLength:packetLength withTimeout:-1 tag:110];
return;
}
//正式的包處理
NSUInteger packetLength = [currentPacketHead[@"size"] integerValue];
//說明數(shù)據(jù)有問題
if (packetLength <= 0 || data.length != packetLength) {
NSLog(@"error:當(dāng)前數(shù)據(jù)包數(shù)據(jù)大小不正確");
return;
}
NSString *type = currentPacketHead[@"type"];
if ([type isEqualToString:@"img"]) {
NSLog(@"圖片設(shè)置成功");
self.recvImg.image = [UIImage imageWithData:data];
}else{
NSString *msg = [[NSString alloc]initWithData:data encoding:NSUTF8StringEncoding];
NSLog(@"收到消息:%@",msg);
}
currentPacketHead = nil;
[sock readDataToData:[GCDAsyncSocket CRLFData] withTimeout:-1 tag:110];
}
這個方法也很簡單系任,我們判斷恳蹲,如果currentPacketHead
(當(dāng)前數(shù)據(jù)包的頭部)為空,則說明這次讀取俩滥,是一個頭部信息嘉蕾,我們?nèi)カ@取到該數(shù)據(jù)包的頭部信息。并且調(diào)用下一次讀取举农,讀取長度為從頭部信息中取出來的數(shù)據(jù)包長度:
[sock readDataToLength:packetLength withTimeout:-1 tag:110];
這樣當(dāng)GCDAsyncSocket
中數(shù)據(jù)緩沖區(qū)長度達(dá)到我們需要讀取的length
就能觸發(fā)代理方法的第二次回調(diào)荆针。(具體原理實現(xiàn)會在樓主的GCDAsyncSocket
解析的后續(xù)系列Read
篇中去講,敬請期待)颁糟。
這時候因為currentPacketHead
不為空航背,所以我們就知道是去獲取一個數(shù)據(jù)包,我們從頭部信息中拿到數(shù)據(jù)包的類型棱貌,如果是文本或者圖片玖媚,則分別輸出或展示到屏幕上。讀取完成后我們再次調(diào)用:
[sock readDataToData:[GCDAsyncSocket CRLFData] withTimeout:-1 tag:110];
這樣就開始了下一個數(shù)據(jù)包的頭部信息讀取婚脱。
就這樣今魔,整個數(shù)據(jù)拆包的處理就完成了。
接著我們來講講我們之前所說的為什么可以在數(shù)據(jù)包之后加一個結(jié)束標(biāo)識符障贸。我們數(shù)據(jù)很可能在傳輸?shù)倪^程中错森,丟失了一部分,或者頭部信息不可讀篮洁,導(dǎo)致我們無法正常讀取這個數(shù)據(jù)包涩维。
可能我們會有一個應(yīng)用場景,當(dāng)出現(xiàn)錯誤包的時候袁波,我們就直接拋棄掉它瓦阐,直接開始下一個數(shù)據(jù)包的讀任铣蕖(當(dāng)然現(xiàn)實中,我們往往是需要重新發(fā)送睡蟋,這里僅僅是舉一個應(yīng)用場景)踏幻。這樣這個結(jié)束標(biāo)識符就起作用了,我們可以直接把數(shù)據(jù)讀取到這個錯誤包的結(jié)束標(biāo)識處戳杀,不做任何處理该面,這樣相當(dāng)于丟棄掉這個錯誤包了。
最后我們來看看運行效果:
我們客戶端手機連接上服務(wù)器后豺瘤,點擊發(fā)送吆倦,發(fā)出我們上述客戶端寫的6條數(shù)據(jù),在我們服務(wù)端坐求,按照順序接受到數(shù)據(jù)如圖:
寫在結(jié)尾:
本來不打算寫應(yīng)用篇的蚕泽,但是很多朋友在問數(shù)據(jù)包相關(guān)的內(nèi)容,而且正好之后的Read
篇會涉及到這些桥嗤,所以就當(dāng)為了后面的內(nèi)容做一個鋪墊吧须妻。
關(guān)于IM
的路還有很長,路漫漫其修遠(yuǎn)兮泛领,吾將上下而求索荒吏。