ceph rgw:rgw的I/O路徑 后篇

在上一篇文章中瞻鹏,我分析了rgw main函數(shù)的流程朦佩,其中fe->run()開(kāi)始了frontend的運(yùn)行,這篇文章就以run()函數(shù)開(kāi)始喉刘。

rgw 支持很多frontend瞧柔,以默認(rèn)的frontend civietweb來(lái)分析。

RGWCivetWebFrontend::run

run函數(shù)很長(zhǎng)睦裳,但其中大部分都是在處理配置造锅,其功能代碼只有下面幾行:

  struct mg_callbacks cb;
  memset((void *)&cb, 0, sizeof(cb));
  cb.begin_request = civetweb_callback;
  cb.log_message = rgw_civetweb_log_callback;
  cb.log_access = rgw_civetweb_log_access_callback;
  ctx = mg_start(&cb, this, options.data());

代碼很簡(jiǎn)單,就是對(duì)civetweb的使用廉邑,首先注冊(cè)了我們自己的各種事件處理函數(shù)哥蔚,然后使用mg_start開(kāi)啟了服務(wù)器(在新的線程執(zhí)行)倒谷。
有關(guān)mg_callbacksmg_start參考:
https://github.com/civetweb/civetweb/blob/master/docs/api/mg_callbacks.md
https://github.com/civetweb/civetweb/blob/master/docs/api/mg_start.md

civetweb_callback

其中,請(qǐng)求的處理函數(shù)civetweb_callback實(shí)現(xiàn)如下:

static int civetweb_callback(struct mg_connection* conn)
{
  const struct mg_request_info* const req_info = mg_get_request_info(conn);
  return static_cast<RGWCivetWebFrontend *>(req_info->user_data)->process(conn);
}

可以看到肺素,這里只是做了用于參數(shù)的獲取和轉(zhuǎn)發(fā)恨锚,其真正的處理函數(shù)是RGWCivetWebFrontend::process

RGWCivetWebFrontend::process

int RGWCivetWebFrontend::process(struct mg_connection*  const conn)
{
  /* Hold a read lock over access to env.store for reconfiguration. */
  RWLock::RLocker lock(env.mutex);

  RGWCivetWeb cw_client(conn);
  auto real_client_io = rgw::io::add_reordering(
                          rgw::io::add_buffering(dout_context,
                            rgw::io::add_chunking(
                              rgw::io::add_conlen_controlling(
                                &cw_client))));
  RGWRestfulIO client_io(dout_context, &real_client_io);

  RGWRequest req(env.store->get_new_req_id());
  //處理函數(shù)
  int ret = process_request(env.store, env.rest, &req, env.uri_prefix,
                            *env.auth_registry, &client_io, env.olog);
  if (ret < 0) {
    /* We don't really care about return code. */
    dout(20) << "process_request() returned " << ret << dendl;
  }

  /* Mark as processed. */
  return 1;
}

rgw_process.cc/process_request

process函數(shù)將請(qǐng)求以及處理請(qǐng)求所需要的環(huán)境信息都準(zhǔn)備好倍靡,調(diào)用process_request函數(shù)進(jìn)行處理猴伶。這個(gè)函數(shù)比較長(zhǎng),只貼出關(guān)鍵的代碼片段:

  struct req_state rstate(g_ceph_context, &rgw_env, &userinfo);
  struct req_state *s = &rstate;
  
  ......
  
  RGWRESTMgr *mgr;
  RGWHandler_REST *handler = rest->get_handler(store, s,
    auth_registry,
    frontend_prefix,
    client_io, &mgr, &init_error);
  
  ......

  ret = rgw_process_authenticated(handler, op, req, s);
  
  ......
  
  client_io->complete_request();
  ......

RGWREST::get_handler

process_request 將req的狀態(tài)和一些必要的env存入rstate對(duì)象塌西,然后調(diào)用rest->get_handler獲得對(duì)應(yīng)api的處理函數(shù)他挎,要注意的是,這里的rest就是之前傳入process的env.rest捡需,我們追蹤下這個(gè)env.rest究竟是什么办桨。

讓我們回到rgw_main.cc/main函數(shù):

RGWREST rest;
......
if (apis_map.count("s3") > 0 || s3website_enabled) {
    if (! swift_at_root) {
        rest.register_default_mgr(set_logging(rest_filter(store, RGW_REST_S3,new RGWRESTMgr_S3(s3website_enabled))));
    } else {
        derr << "Cannot have the S3 or S3 Website enabled together with "
            << "Swift API placed in the root of hierarchy" << dendl;
        return EINVAL;
    }
}
......
RGWProcessEnv env = { store, &rest, olog, 0, uri_prefix, auth_registry };
fe = new RGWCivetWebFrontend(env, config);

上面的代碼很清楚了,env.rest會(huì)隨著api配置的不同而不同站辉,下面代碼繼續(xù)對(duì)get_handler進(jìn)行fen分析呢撞,以S3的api為例。

rest->get_handler(RGWHandler_REST* RGWREST::get_handler)函數(shù)比較復(fù)雜饰剥,只列出關(guān)鍵代碼片段:

RGWRESTMgr *m = mgr.get_manager(s, frontend_prefix, s->decoded_uri,&s->relative_uri);
RGWHandler_REST* handler = m->get_handler(s, auth_registry, frontend_prefix);
return handler;

RGWRESTMgr_S3::get_handler

可以看到它轉(zhuǎn)而去調(diào)用了具體的api所對(duì)應(yīng)的get_handler函數(shù)殊霞,具體到S3,會(huì)調(diào)用RGWHandler_REST* RGWRESTMgr_S3::get_handler(..)函數(shù):

RGWHandler_REST* RGWRESTMgr_S3::get_handler(struct req_state* const s,
                                            const rgw::auth::StrategyRegistry& auth_registry,
                                            const std::string& frontend_prefix)
{
  // 根據(jù)配置判斷使用html還是xml控制
  bool is_s3website = enable_s3website && (s->prot_flags & RGW_REST_WEBSITE);
  int ret =
    RGWHandler_REST_S3::init_from_header(s,
                    is_s3website ? RGW_FORMAT_HTML :
                    RGW_FORMAT_XML, true);
  if (ret < 0)
    return NULL;

  RGWHandler_REST* handler;
  // 基于html的handler
  if (is_s3website) {
    // 根據(jù)請(qǐng)求中操作對(duì)象的不同返回不同的handler
    if (s->init_state.url_bucket.empty()) {
      handler = new RGWHandler_REST_Service_S3Website(auth_registry);
    } else if (s->object.empty()) {
      handler = new RGWHandler_REST_Bucket_S3Website(auth_registry);
    } else {
      handler = new RGWHandler_REST_Obj_S3Website(auth_registry);
    }
    //基于xml的handler
  } else {
    // 根據(jù)請(qǐng)求中操作對(duì)象的不同返回不同的handler      
    if (s->init_state.url_bucket.empty()) {
      handler = new RGWHandler_REST_Service_S3(auth_registry);
    } else if (s->object.empty()) {
      handler = new RGWHandler_REST_Bucket_S3(auth_registry);
    } else {
      handler = new RGWHandler_REST_Obj_S3(auth_registry);
    }
  }

  ldout(s->cct, 20) << __func__ << " handler=" << typeid(*handler).name()
            << dendl;
  return handler;
}

回到 rgw_process.cc/process_request

  struct req_state rstate(g_ceph_context, &rgw_env, &userinfo);
  struct req_state *s = &rstate;
  
  ......
  
  RGWRESTMgr *mgr;
  RGWHandler_REST *handler = rest->get_handler(store, s,
    auth_registry,
    frontend_prefix,
    client_io, &mgr, &init_error);
  
  ......
  // 開(kāi)始分析以下部分代碼
  ret = rgw_process_authenticated(handler, op, req, s);
  
  ......
  
  client_io->complete_request();
  ......

我們?cè)谥耙呀?jīng)分析了process_request的前部分代碼汰蓉,分析了handler是如何獲得的绷蹲。

在獲得handler之后,經(jīng)過(guò)各種參數(shù)檢查顾孽,權(quán)限認(rèn)證之后祝钢,其真正執(zhí)行請(qǐng)求是在rgw_process_authenticated函數(shù)中,執(zhí)行完之后若厚,調(diào)用complete_request完成請(qǐng)求拦英。

rgw_process.cc/rgw_process_authenticated

這是rgw_process_authenticated有關(guān)執(zhí)行邏輯的代碼:

  req->log(s, "pre-executing");
  op->pre_exec(); //拼接reponse的header,并返回給client

  req->log(s, "executing");
  op->execute(); //執(zhí)行

  req->log(s, "completing");
  op->complete(); //調(diào)用send_response测秸,返回執(zhí)行結(jié)果給client

至于op的獲得疤估,稍微補(bǔ)充下

op = handler->get_op(store);

get_op函數(shù)會(huì)根據(jù)req的信息,去調(diào)用對(duì)應(yīng)的handler的op_xxx函數(shù)乞封,比如RGWHandler_REST_Obj_S3首先了下面一系列操作。

  RGWOp *op_get() override;
  RGWOp *op_head() override;
  RGWOp *op_put() override;
  RGWOp *op_delete() override;
  RGWOp *op_post() override;
  RGWOp *op_options() override;

每一個(gè)操作對(duì)對(duì)應(yīng)一個(gè)RGWOp的子類岗憋,比如RGWGetObj_ObjStore_S3肃晚、RGWGetObjTags_ObjStore_S3、RGWListBucket_ObjStore_S3等一系列類對(duì)象仔戈。

到這关串,從frontend到操作的執(zhí)行就走通了拧廊,接下來(lái)就可以對(duì)自己想要詳細(xì)學(xué)習(xí)的operation進(jìn)行閱讀了。只需要看對(duì)應(yīng)op對(duì)象的execute函數(shù)晋修,pre_exec和complete函數(shù)基本一致吧碾,具體見(jiàn)代碼注釋。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末墓卦,一起剝皮案震驚了整個(gè)濱河市倦春,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌落剪,老刑警劉巖睁本,帶你破解...
    沈念sama閱讀 211,348評(píng)論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異忠怖,居然都是意外死亡呢堰,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,122評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門(mén)凡泣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)枉疼,“玉大人,你說(shuō)我怎么就攤上這事鞋拟÷钗” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,936評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵严卖,是天一觀的道長(zhǎng)席舍。 經(jīng)常有香客問(wèn)我,道長(zhǎng)哮笆,這世上最難降的妖魔是什么来颤? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,427評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮稠肘,結(jié)果婚禮上福铅,老公的妹妹穿的比我還像新娘。我一直安慰自己项阴,他們只是感情好滑黔,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,467評(píng)論 6 385
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著环揽,像睡著了一般略荡。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上歉胶,一...
    開(kāi)封第一講書(shū)人閱讀 49,785評(píng)論 1 290
  • 那天汛兜,我揣著相機(jī)與錄音,去河邊找鬼通今。 笑死粥谬,一個(gè)胖子當(dāng)著我的面吹牛肛根,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播漏策,決...
    沈念sama閱讀 38,931評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼派哲,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了掺喻?” 一聲冷哼從身側(cè)響起芭届,我...
    開(kāi)封第一講書(shū)人閱讀 37,696評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎巢寡,沒(méi)想到半個(gè)月后喉脖,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,141評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡抑月,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,483評(píng)論 2 327
  • 正文 我和宋清朗相戀三年树叽,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片谦絮。...
    茶點(diǎn)故事閱讀 38,625評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡题诵,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出层皱,到底是詐尸還是另有隱情性锭,我是刑警寧澤,帶...
    沈念sama閱讀 34,291評(píng)論 4 329
  • 正文 年R本政府宣布叫胖,位于F島的核電站草冈,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏瓮增。R本人自食惡果不足惜怎棱,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,892評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望绷跑。 院中可真熱鬧拳恋,春花似錦、人聲如沸砸捏。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,741評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)垦藏。三九已至梆暖,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間掂骏,已是汗流浹背轰驳。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,977評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人滑废。 一個(gè)月前我還...
    沈念sama閱讀 46,324評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像袜爪,于是被迫代替她去往敵國(guó)和親蠕趁。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,492評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容