(26)獲取report上報數(shù)據(jù)(Reporter部分)-【Lars-基于C++負(fù)載均衡遠程服務(wù)器調(diào)度系統(tǒng)教程】

【Lars教程目錄】

Lars源代碼
https://github.com/aceld/Lars


【Lars系統(tǒng)概述】
第1章-概述
第2章-項目目錄構(gòu)建


【Lars系統(tǒng)之Reactor模型服務(wù)器框架模塊】
第1章-項目結(jié)構(gòu)與V0.1雛形
第2章-內(nèi)存管理與Buffer封裝
第3章-事件觸發(fā)EventLoop
第4章-鏈接與消息封裝
第5章-Client客戶端模型
第6章-連接管理及限制
第7章-消息業(yè)務(wù)路由分發(fā)機制
第8章-鏈接創(chuàng)建/銷毀Hook機制
第9章-消息任務(wù)隊列與線程池
第10章-配置文件讀寫功能
第11章-udp服務(wù)與客戶端
第12章-數(shù)據(jù)傳輸協(xié)議protocol buffer
第13章-QPS性能測試
第14章-異步消息任務(wù)機制
第15章-鏈接屬性設(shè)置功能


【Lars系統(tǒng)之DNSService模塊】
第1章-Lars-dns簡介
第2章-數(shù)據(jù)庫創(chuàng)建
第3章-項目目錄結(jié)構(gòu)及環(huán)境構(gòu)建
第4章-Route結(jié)構(gòu)的定義
第5章-獲取Route信息
第6章-Route訂閱模式
第7章-Backend Thread實時監(jiān)控


【Lars系統(tǒng)之Report Service模塊】
第1章-項目概述-數(shù)據(jù)表及proto3協(xié)議定義
第2章-獲取report上報數(shù)據(jù)
第3章-存儲線程池及消息隊列


【Lars系統(tǒng)之LoadBalance Agent模塊】
第1章-項目概述及構(gòu)建
第2章-主模塊業(yè)務(wù)結(jié)構(gòu)搭建
第3章-Report與Dns Client設(shè)計與實現(xiàn)
第4章-負(fù)載均衡模塊基礎(chǔ)設(shè)計
第5章-負(fù)載均衡獲取Host主機信息API
第6章-負(fù)載均衡上報Host主機信息API
第7章-過期窗口清理與過載超時(V0.5)
第8章-定期拉取最新路由信息(V0.6)
第9章-負(fù)載均衡獲取Route信息API(0.7)
第10章-API初始化接口(V0.8)
第11章-Lars Agent性能測試工具
第12章- Lars啟動工具腳本


4) 獲取report上報數(shù)據(jù)

4.1 構(gòu)建Lars-Reporter項目

創(chuàng)建Lars-Reporter項目目錄

Lars/lars_reporter/bin/

Lars/lars_reporter/conf/

Lars/lars_reporter/include/

Lars/lars_reporter/src/

Lars/lars_reporter/test/

Lars/lars_reporter/Makefile

其中:

lars_reporter/conf/lars_reporter.conf

[reactor]
maxConn = 1024
threadNum = 5
ip = 127.0.0.1
port = 7779

[mysql]
db_host = 127.0.0.1
db_port = 3306
db_user = root
db_passwd = aceld
db_name = lars_dns

[repoter]
db_thread_cnt = 3

lars_reporter/Makefile

TARGET= bin/lars_reporter
CXX=g++
CFLAGS=-g -O2 -Wall -Wno-deprecated

BASE=../base
BASE_H=$(BASE)/include

PROTO = $(BASE)/proto
PROTO_H = $(BASE)/proto

LARS_REACTOR=../lars_reactor
LARS_REACTOR_H =$(LARS_REACTOR)/include
LARS_REACTOR_LIB=$(LARS_REACTOR)/lib  -llreactor

MYSQL=$(BASE)/mysql-connector-c
MYSQL_H=$(MYSQL)/include
MYSQL_LIB=$(MYSQL)/lib/libmysqlclient.a

OTHER_LIB = -lpthread -ldl -lprotobuf
SRC= ./src
INC= -I./include -I$(BASE_H) -I$(LARS_REACTOR_H) -I$(MYSQL_H) -I$(PROTO_H)

LIB= $(MYSQL_LIB) -L$(LARS_REACTOR_LIB) $(OTHER_LIB) 


OBJS = $(addsuffix .o, $(basename $(wildcard $(SRC)/*.cpp)))
OBJS += $(PROTO)/lars.pb.o

$(TARGET): $(OBJS)
        mkdir -p bin
        $(CXX) $(CFLAGS) -o $(TARGET) $(OBJS) $(INC) $(LIB)

%.o: %.cpp
        $(CXX) $(CFLAGS) -c -o $@ $< $(INC) 

.PHONY: clean

clean:
        -rm -f src/*.o  $(PROTO)/lars.pb.o $(TARGET)

4.2 完成Lars-Service Reporter接受處理業(yè)務(wù)

? 我們先完成客戶端/或者agent的發(fā)送過來的reporter上報數(shù)據(jù)請求的處理業(yè)務(wù)。

lars_reporter/src/reporter_service.cpp

#include "lars_reactor.h"
#include "lars.pb.h"
#include "store_report.h"
#include <string>

void get_report_status(const char *data, uint32_t len, int msgid, net_connection *conn, void *user_data)
{
    lars::ReportStatusRequest req;

    req.ParseFromArray(data, len);

    //將上報數(shù)據(jù)存儲到db 
    StoreReport sr;
    sr.store(req);
}

int main(int argc, char **argv)
{
    event_loop loop;

    //加載配置文件
    config_file::setPath("./conf/lars_reporter.conf");
    std::string ip = config_file::instance()->GetString("reactor", "ip", "0.0.0.0");
    short port = config_file::instance()->GetNumber("reactor", "port", 7779);

    //創(chuàng)建tcp server
    tcp_server server(&loop, ip.c_str(), port);

    //添加數(shù)據(jù)上報請求處理的消息分發(fā)處理業(yè)務(wù)
    server.add_msg_router(lars::ID_ReportStatusRequest, get_report_status);
  
    //啟動事件監(jiān)聽
    loop.event_process(); 

    return 0;
}

lars_reporter/include/store_report.h

#pragma once

#include "mysql.h"
#include "lars.pb.h"

class StoreReport
{
public:
    StoreReport();

    void store(lars::ReportStatusRequest req);

private:
    MYSQL _db_conn;
};

lars_reporter/src/store_report.cpp

#include "store_report.h"
#include "lars_reactor.h"
#include <string>
#include <unistd.h>


StoreReport::StoreReport()
{
    //1 初始化
    //1.1 多線程使用mysql需要先調(diào)用mysql_library_init
    mysql_library_init(0, NULL, NULL);

    //1.2 初始化鏈接迈倍,和設(shè)置超時時間
    mysql_init(&_db_conn);
    mysql_options(&_db_conn, MYSQL_OPT_CONNECT_TIMEOUT, "30");
    my_bool reconnect = 1;
    mysql_options(&_db_conn, MYSQL_OPT_RECONNECT, &reconnect);


    //2 加載配置
    std::string db_host = config_file::instance()->GetString("mysql", "db_host", "127.0.0.1");
    short db_port = config_file::instance()->GetNumber("mysql", "db_port", 3306);
    std::string db_user = config_file::instance()->GetString("mysql", "db_user", "root");
    std::string db_passwd = config_file::instance()->GetString("mysql", "db_passwd", "aceld");
    std::string db_name = config_file::instance()->GetString("mysql", "db_name", "lars_dns");


    //3 鏈接數(shù)據(jù)庫
    if ( mysql_real_connect(&_db_conn, db_host.c_str(), db_user.c_str(), db_passwd.c_str(), db_name.c_str(), db_port, NULL, 0) == NULL)  {
        fprintf(stderr, "mysql real connect error\n");
        exit(1);
    }
}

void StoreReport::store(lars::ReportStatusRequest req)
{
    for (int i = 0; i < req.results_size(); i++) {
        //一條report 調(diào)用記錄
        const lars::HostCallResult &result = req.results(i);
        int overload = result.overload() ? 1: 0;
        char sql[1024];
        
        snprintf(sql, 1024, "INSERT INTO ServerCallStatus"
                "(modid, cmdid, ip, port, caller, succ_cnt, err_cnt, ts, overload) "
                "VALUES (%d, %d, %u, %u, %u, %u, %u, %u, %d) ON DUPLICATE KEY "
                "UPDATE succ_cnt = %u, err_cnt = %u, ts = %u, overload = %d",
                req.modid(), req.cmdid(), result.ip(), result.port(), req.caller(),
                result.succ(), result.err(), req.ts(), overload,
                result.succ(), result.err(), req.ts(), overload);

        mysql_ping(&_db_conn);//ping 測試一下伤靠,防止鏈接斷開,會觸發(fā)重新建立連接

        if (mysql_real_query(&_db_conn, sql, strlen(sql)) != 0) {
            fprintf(stderr, "Fial to Insert into ServerCallStatus %s\n", mysql_error(&_db_conn));
        }
    }
}

? 這里面的業(yè)務(wù)很簡單啼染,就是如果有客戶端發(fā)送ID_ReportStatusRequest的消息過來宴合,進行處理,然后入庫即可迹鹅。

4.3 完成Lars-reporterV0.1版本測試

lars_reporter/test/reportClient.cpp

#include "lars_reactor.h"
#include "lars.pb.h"

void report_status(net_connection *conn, void *user_data)
{
    tcp_client *client = (tcp_client*)conn;

    lars::ReportStatusRequest req; 

    //組裝測試消息
    req.set_modid(rand() % 3 + 1);
    req.set_cmdid(1);
    req.set_caller(123);
    req.set_ts(time(NULL));

    for (int i = 0; i < 3; i ++) {
        lars::HostCallResult result;
        result.set_ip(i + 1);
        result.set_port((i + 1) * (i + 1));

        result.set_succ(100);
        result.set_err(3);
        result.set_overload(true);
        req.add_results()->CopyFrom(result);
    }


    std::string requestString;
    req.SerializeToString(&requestString);

    //發(fā)送給reporter service
    client->send_message(requestString.c_str(), requestString.size(), lars::ID_ReportStatusRequest);
}


void connection_build(net_connection *conn, void *args)
{
    report_status(conn, args);
}


int main(int argc, char **argv)
{
    event_loop loop;

    tcp_client client(&loop, "127.0.0.1", 7779, "reportClient");

    //添加建立連接成功業(yè)務(wù)
    client.set_conn_start(connection_build);

    loop.event_process();
    
    return 0;
}

lars_reporter/test/Makefile

TARGET= reportClient
CXX=g++
CFLAGS=-g -O2 -Wall -Wno-deprecated

BASE=../../base
BASE_H=$(BASE)/include

PROTO = $(BASE)/proto
PROTO_H = $(BASE)/proto

LARS_REACTOR=../../lars_reactor
LARS_REACTOR_H =$(LARS_REACTOR)/include
LARS_REACTOR_LIB=$(LARS_REACTOR)/lib  -llreactor

OTHER_LIB = -lpthread -ldl -lprotobuf
SRC= ./src
INC= -I./include -I$(BASE_H) -I$(LARS_REACTOR_H) -I$(PROTO_H)

LIB= $(MYSQL_LIB) -L$(LARS_REACTOR_LIB) $(OTHER_LIB) 


OBJS = reportClient.o
OBJS += $(PROTO)/lars.pb.o

$(TARGET): $(OBJS)
        $(CXX) $(CFLAGS) -o $(TARGET) $(OBJS) $(INC) $(LIB)

%.o: %.cpp
        $(CXX) $(CFLAGS) -c -o $@ $< $(INC) 

.PHONY: clean

clean:
        -rm -f ./*.o $(TARGET)

? 這里我們簡單寫了一個針對lars_reporter的一個客戶端測試程序卦洽,模擬發(fā)送一個包,測試一下一個基本的reporter的正常功能斜棚。

編譯并執(zhí)行,我們發(fā)現(xiàn)數(shù)據(jù)庫表中ServerCallStatus已經(jīng)有了我們模擬封裝的數(shù)據(jù)入庫阀蒂。


關(guān)于作者:

作者:Aceld(劉丹冰)

mail: danbing.at@gmail.com
github: https://github.com/aceld
原創(chuàng)書籍gitbook: http://legacy.gitbook.com/@aceld

原創(chuàng)聲明:未經(jīng)作者允許請勿轉(zhuǎn)載, 如果轉(zhuǎn)載請注明出處

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市打肝,隨后出現(xiàn)的幾起案子脂新,更是在濱河造成了極大的恐慌,老刑警劉巖粗梭,帶你破解...
    沈念sama閱讀 212,222評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件争便,死亡現(xiàn)場離奇詭異,居然都是意外死亡断医,警方通過查閱死者的電腦和手機滞乙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,455評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來鉴嗤,“玉大人斩启,你說我怎么就攤上這事∽砉” “怎么了兔簇?”我有些...
    開封第一講書人閱讀 157,720評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長硬耍。 經(jīng)常有香客問我垄琐,道長,這世上最難降的妖魔是什么经柴? 我笑而不...
    開封第一講書人閱讀 56,568評論 1 284
  • 正文 為了忘掉前任狸窘,我火速辦了婚禮,結(jié)果婚禮上坯认,老公的妹妹穿的比我還像新娘翻擒。我一直安慰自己氓涣,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,696評論 6 386
  • 文/花漫 我一把揭開白布陋气。 她就那樣靜靜地躺著劳吠,像睡著了一般。 火紅的嫁衣襯著肌膚如雪恩伺。 梳的紋絲不亂的頭發(fā)上赴背,一...
    開封第一講書人閱讀 49,879評論 1 290
  • 那天椰拒,我揣著相機與錄音晶渠,去河邊找鬼。 笑死燃观,一個胖子當(dāng)著我的面吹牛褒脯,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播缆毁,決...
    沈念sama閱讀 39,028評論 3 409
  • 文/蒼蘭香墨 我猛地睜開眼番川,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了脊框?” 一聲冷哼從身側(cè)響起颁督,我...
    開封第一講書人閱讀 37,773評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎浇雹,沒想到半個月后沉御,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,220評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡昭灵,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,550評論 2 327
  • 正文 我和宋清朗相戀三年吠裆,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片烂完。...
    茶點故事閱讀 38,697評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡试疙,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出抠蚣,到底是詐尸還是另有隱情祝旷,我是刑警寧澤,帶...
    沈念sama閱讀 34,360評論 4 332
  • 正文 年R本政府宣布嘶窄,位于F島的核電站怀跛,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏护侮。R本人自食惡果不足惜敌完,卻給世界環(huán)境...
    茶點故事閱讀 40,002評論 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望羊初。 院中可真熱鬧滨溉,春花似錦什湘、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,782評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至脯颜,卻和暖如春哟旗,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背栋操。 一陣腳步聲響...
    開封第一講書人閱讀 32,010評論 1 266
  • 我被黑心中介騙來泰國打工闸餐, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人矾芙。 一個月前我還...
    沈念sama閱讀 46,433評論 2 360
  • 正文 我出身青樓舍沙,卻偏偏與公主長得像,于是被迫代替她去往敵國和親剔宪。 傳聞我的和親對象是個殘疾皇子拂铡,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,587評論 2 350

推薦閱讀更多精彩內(nèi)容