自己實(shí)現(xiàn)基于key-value的NoSQL數(shù)據(jù)庫(kù)(四)—— 新版本的數(shù)據(jù)庫(kù)

基于上一章的內(nèi)容氧急,我們需要把key替換成hash值存儲(chǔ)到b+tree中
首先要改變的就是set和get函數(shù)

template<typename T>  
int smallsql::getType()  
{  
    return typeid(T) == typeid(int) ? 0 : 1;  
}  
  
template<typename T>  
void smallsql::set(const std::string& key, const T& value)  
{  
    unsigned long iKey = HashString(key, 1);  
    int type = getType<T>();  
    SqlData<T>* pItem = static_cast<SqlData<T>*>(bplus_tree_get(m_pTree, iKey, type));  
  
    if (pItem == nullptr)  
    {  
        bplus_tree_put(m_pTree, iKey, nullptr, type);  
  
        pItem = new SqlData<T>();  
        pItem->value = value;  
        bplus_tree_put(m_pTree, iKey, pItem, type);  
    }  
    else  
    {  
        pItem->value = value;  
    }  
}  
  
template<typename T>  
T smallsql::get(const std::string& key)  
{  
    unsigned long iKey = HashString(key, 1);  
    int type = getType<T>();  
    SqlData<T>* pItem = static_cast<SqlData<T>*>(bplus_tree_get(m_pTree, iKey, type));  
  
    if (pItem == nullptr)  
    {  
        return T();  
    }  
    else  
    {  
        return pItem->value;  
    }  
} 

這兩個(gè)函數(shù)首先都需要用HashString函數(shù)把key的內(nèi)容轉(zhuǎn)換成unsigned long類(lèi)型的整數(shù)
然后存儲(chǔ)到bplus_tree中颗胡,這些都在上一章里介紹過(guò),需要需要看具體的實(shí)現(xiàn)附件有工程文件可以看
然后就是open和close函數(shù)吩坝,他們負(fù)責(zé)讀取和保存毒姨,也需要修改

bool smallsql::open(const std::string& sqlPath)  
{  
    FILE* fp = nullptr;  
    m_sqlPath = sqlPath;  
  
    fopen_s(&fp, sqlPath.c_str(), "r");  
    if (fp == nullptr)  
    {  
        return true;  
    }  
  
    while (!feof(fp))  
    {  
        unsigned long key = 0;  
        fread_s(&key, sizeof(unsigned long), sizeof(unsigned long), 1, fp);  
  
        if (key == 0)  
        {  
            continue;  
        }  
  
        int type = 0;  
        fread_s(&type, 1, 1, 1, fp);  
  
        if (type == 0)  
        {  
            int value = 0;  
            fread_s(&value, sizeof(int), sizeof(int), 1, fp);  
  
            SqlData<int>* pItem = new SqlData<int>();  
            pItem->value = value;  
  
            bplus_tree_put(m_pTree, key, pItem, type);  
        }  
        else if (type == 1)  
        {  
            int len = 0;  
            fread_s(&len, 1, 1, 1, fp);  
            char* value = new char[len + 1];  
            fread_s(value, len, len, 1, fp);  
            value[len] = 0;  
  
            SqlData<std::string>* pItem = new SqlData<std::string>();  
            pItem->value = std::string(value);  
            delete[] value;  
  
            bplus_tree_put(m_pTree, key, pItem, type);  
        }  
    }  
  
    fclose(fp);  
  
    return true;  
}  
  
void smallsql::close()  
{  
    FILE* fp = nullptr;  
  
    fopen_s(&fp, m_sqlPath.c_str(), "w");  
    if (fp == nullptr)  
    {  
        return;  
    }  
  
    struct bplus_leaf *leaf = (struct bplus_leaf *)m_pTree->head[0];  
    if (leaf != NULL)  
    {  
        while (leaf != NULL)  
        {  
            for (int j = 0; j < leaf->entries; ++j)  
            {  
                fwrite(&leaf->key[j], sizeof(unsigned long), 1, fp);  
                fwrite(&leaf->datatype[j], 1, 1, fp);  
                  
                if (leaf->datatype[j] == 0) // int  
                {  
                    SqlData<int>* pItem = static_cast<SqlData<int>*>(leaf->data[j]);  
                    fwrite(&pItem->value, sizeof(int), 1, fp);  
                }  
                else if (leaf->datatype[j] == 1) // string  
                {  
                    SqlData<std::string>* pItem = static_cast<SqlData<std::string>*>(leaf->data[j]);  
                    int len = pItem->value.length();  
                    fwrite(&len, 1, 1, fp);  
                    fwrite(pItem->value.c_str(), len, 1, fp);  
                }  
            }  
            leaf = leaf->next;  
        }  
    }  
  
    fclose(fp); 

相對(duì)于上一個(gè)版本,稍微簡(jiǎn)單了點(diǎn)

另外b+tree的代碼也需要修改(相對(duì)于上一章給出的b+tree實(shí)現(xiàn)版本https://github.com/begeekmyfriend/bplustree
需要加入int datatype[MAX_ENTRIES];表示數(shù)據(jù)類(lèi)型钉寝,另外key的類(lèi)型從int->unsigned long弧呐,相應(yīng)的函數(shù)也需要修改一下

總體來(lái)說(shuō)大概就是加入b+tree和hash算法的實(shí)現(xiàn)代碼bplustee.h/cpp和hash.h/cpp,另外小小的修改一下set和get函數(shù),open和close函數(shù)

替換完成嵌纲,趕緊看看1W個(gè)數(shù)據(jù)的測(cè)試時(shí)間俘枫,可以看出最慢的插入只需要0.07秒,而上一個(gè)版本需要7.6秒 快了100倍



這下我們可以試試10W數(shù)據(jù)了逮走,10W數(shù)據(jù)只需要0.57秒鸠蚪,而上一個(gè)版本需要80秒,快了140倍



再來(lái)試試100W數(shù)據(jù)測(cè)試师溅,最慢需要4.1秒

到這里茅信,數(shù)據(jù)庫(kù)基本能看了,至少效率比之前好多了接下來(lái)還有不少需要優(yōu)化的地方

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末墓臭,一起剝皮案震驚了整個(gè)濱河市蘸鲸,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌起便,老刑警劉巖棚贾,帶你破解...
    沈念sama閱讀 206,482評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件窖维,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡妙痹,警方通過(guò)查閱死者的電腦和手機(jī)铸史,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)怯伊,“玉大人琳轿,你說(shuō)我怎么就攤上這事」⑶郏” “怎么了崭篡?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,762評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)吧秕。 經(jīng)常有香客問(wèn)我琉闪,道長(zhǎng),這世上最難降的妖魔是什么砸彬? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,273評(píng)論 1 279
  • 正文 為了忘掉前任颠毙,我火速辦了婚禮,結(jié)果婚禮上砂碉,老公的妹妹穿的比我還像新娘蛀蜜。我一直安慰自己,他們只是感情好增蹭,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,289評(píng)論 5 373
  • 文/花漫 我一把揭開(kāi)白布滴某。 她就那樣靜靜地躺著,像睡著了一般滋迈。 火紅的嫁衣襯著肌膚如雪霎奢。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,046評(píng)論 1 285
  • 那天杀怠,我揣著相機(jī)與錄音椰憋,去河邊找鬼。 笑死赔退,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的证舟。 我是一名探鬼主播硕旗,決...
    沈念sama閱讀 38,351評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼女责!你這毒婦竟也來(lái)了漆枚?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 36,988評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤抵知,失蹤者是張志新(化名)和其女友劉穎墙基,沒(méi)想到半個(gè)月后软族,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,476評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡残制,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,948評(píng)論 2 324
  • 正文 我和宋清朗相戀三年立砸,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片初茶。...
    茶點(diǎn)故事閱讀 38,064評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡颗祝,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出恼布,到底是詐尸還是另有隱情螺戳,我是刑警寧澤,帶...
    沈念sama閱讀 33,712評(píng)論 4 323
  • 正文 年R本政府宣布折汞,位于F島的核電站倔幼,受9級(jí)特大地震影響巍虫,放射性物質(zhì)發(fā)生泄漏缓窜。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,261評(píng)論 3 307
  • 文/蒙蒙 一叠殷、第九天 我趴在偏房一處隱蔽的房頂上張望堕伪。 院中可真熱鬧揖庄,春花似錦、人聲如沸欠雌。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,264評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)富俄。三九已至禁炒,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間霍比,已是汗流浹背幕袱。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,486評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留悠瞬,地道東北人们豌。 一個(gè)月前我還...
    沈念sama閱讀 45,511評(píng)論 2 354
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像浅妆,于是被迫代替她去往敵國(guó)和親望迎。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,802評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容