這篇主要寫關(guān)于字符串的使用憔杨,包括STL中的string,C風(fēng)格的字符串师郑,還包括Redis's sds,和Facebook的開源的folly中的String调窍,從代碼結(jié)構(gòu)上宝冕,性能上,平時使用時遇到的坑邓萨,和結(jié)合具體使用場景(業(yè)務(wù))去選擇地梨;后三者都可以從Github上下到源碼分析。
使用純C語言編碼時缔恳,使用到字符串時宝剖,沒得選擇,如char szName[iCount]或char * pName = (char *)malloc(iCount)歉甚,那么在使用一些C庫函數(shù)時万细,一方面會引起性能問題:如線性時間strlen函數(shù);增加一個字符時纸泄,可能引起存儲空間的重新分配赖钞,字符的移動,原空間的釋放[malloc的分配原理挺復(fù)雜的]聘裁;另一方面是安全問題:如二進(jìn)制安全雪营,串中不能包括空白結(jié)尾符;緩沖區(qū)溢出而導(dǎo)致的漏洞等等衡便;
正因為考慮到C字符串的一些問題献起,使用C編寫的Redis自定義了sds數(shù)據(jù)類型,解決了以上C字符串的一些問題镣陕。通過分析sds源碼發(fā)現(xiàn)征唬,它包含了free,len茁彭,buf成員总寒,分別表示buf未使用的字節(jié)個數(shù),buf已使用的字節(jié)個數(shù)理肺,存儲數(shù)據(jù)的buf空間摄闸,那么常數(shù)時間可以獲得字符的個數(shù)而不是strlen,通過在buf中存儲'\0'空白符是安全的妹萨,因為可以通過len決定有沒有到串的結(jié)尾年枕,通過free視情況重分配去避免緩沖區(qū)溢出的問題;每次重分配時可能多分配一些空間乎完,如STL中的string分配問題熏兄;刪除空間時并不是真正的重新分配更小的內(nèi)存,而是延緩,保留原內(nèi)存不變摩桶,只更新其他兩個成員桥状,防止后來又要更加內(nèi)存,這樣可以減少頻繁的malloc硝清,free調(diào)用辅斟。
而STL中的string,則在某種程度上高效許多芦拿,找到頭文件中有如下語句:
typedef basic_string<char>? string士飒,有個_M_dataplus,里面有個_CharT* _M_p; // The actual data蔗崎,所以當(dāng)出現(xiàn)這樣的語句時:string str和string str1("helloworld")酵幕,他們的sizeof大小都是一樣的,在棧上分配大小相同的字節(jié)缓苛,然后_M_p指向堆內(nèi)存裙盾,分配的時候會多分配sizeof(_Rep)個的字節(jié)空間用于存儲計數(shù),容量他嫡,大小信息番官;然而實際占用的空間要多一些。
當(dāng)插入時钢属,內(nèi)存不夠了會自動分配徘熔,不用去擔(dān)心使用C風(fēng)格字符串的一些問題,但還是無法避免內(nèi)存的申請與釋放淆党,內(nèi)容的拷貝等等酷师,但是與stl中的vector一樣,會去減少內(nèi)存的分配染乌,在vector的實現(xiàn)中有如下語句:const size_type __len = size() + std::max(size(), __n);即每次擴(kuò)容時為當(dāng)前容量的兩倍山孔;而在string的實現(xiàn)中有:__capacity = 2 * __old_capacity,也是如此荷憋。然而都沒有辦法自動縮小不用的空間台颠,這里有個辦法就是與臨時對象交換,像這樣:vector<type> vec; vector<type>(vec).swap(vec)勒庄,創(chuàng)建一個臨時對象串前,然后以vec的元素個數(shù)初始化,而不容量实蔽,這樣再交換后荡碾,出了生命周期的范圍后,臨時對象析構(gòu)局装,vec的大小只包含元素個數(shù)的空間了坛吁,多余的也就釋放了劳殖,string也是一樣的做法,內(nèi)部實現(xiàn)差不多類似:std::swap(this->_M_impl._M_start, __x._M_impl._M_start);僅交換指針而已拨脉。
string的一些重載接口使用會有一定的性能影響哆姻,比如構(gòu)造函數(shù):
string( );
string(const string & str );
string(const string & str, size_t pos, size_t n = npos );
string(const char * s, size_t n );
string(const char * s );
string( size_t n, char c );
其中string(const string & str );效率最快的,使用了cow(copy-on-write)女坑,先共享填具,如果需要更新了再拷貝统舀,也算是種延緩分配資源的做法吧匆骗,但在string中使用cow會引起其他問題,如源碼中的atomic_add_dispatch實現(xiàn)計數(shù)加一誉简,使用原子操作保證操作引用計數(shù)的安全碉就,但stl's string本身不是線程安全的,“那需要鎖定包含目標(biāo)地址的一片內(nèi)存區(qū)域闷串,防止其他CPU在此期間的并發(fā)訪問瓮钥,從而序列化對同一地址的訪問;系統(tǒng)通常會lock住比目標(biāo)地址更大的一片區(qū)域烹吵,影響邏輯上不相關(guān)的地址訪問碉熄;lock指令具有”同步“語義,會阻止CPU本身的亂序執(zhí)行優(yōu)化”
網(wǎng)上有關(guān)于stl的其他實現(xiàn)肋拔,如eager copy锈津,short string optimization[陳碩的那本Linux多線程服務(wù)端編程有相關(guān)的講解(muduo :))]。
Folly中的string則使用了三層的存儲策略(three-tiered storage strategy)凉蜂,根據(jù)長度將fbstring分為三類:small/medium/large琼梆,分別采取不同的優(yōu)化措施,以達(dá)到最佳性能[沒使用過窿吩,看源碼有點復(fù)雜]茎杂。
一些引用:
std::string的Copy-on-Write:不如想象中美好
漫步Facebook開源C++庫folly(1):string類的設(shè)計