tbox之前提供的stackfull協(xié)程庫,雖然切換效率已經非常高了依许,但是由于每個協(xié)程都需要維護一個獨立的堆棧狭园,
內存空間利用率不是很高,在并發(fā)量非常大的時候尘分,內存使用量會相當大猜惋。
之前考慮過采用stacksegment方式進行內存優(yōu)化,實現(xiàn)動態(tài)增漲音诫,但是這樣對性能還是有一定的影響惨奕,暫時不去考慮了雪位。
最近參考了下boost和protothreads的stackless協(xié)程實現(xiàn)竭钝,這種方式雖然易用性和靈活性上受到了很多限制,但是對切換效率和內存利用率的提升效果還是非常明顯的雹洗。香罐。
因此,我在tbox里面也加上了對stackless協(xié)程的支持时肿,在切換原語上參考了protothreads的實現(xiàn)庇茫,接口封裝上參考了boost的設計,使得更加可讀易用
先曬段實際的接口使用代碼:
tb_lo_coroutine_enter(coroutine)
{
while (1)
{
tb_lo_coroutine_yield();
}
}
然后實測對比了下:
* 切換性能在macosx上比tbox的stackfull版本提升了5-6倍螃成,1000w次切換只需要40ms
* 每個協(xié)程的內存占用也減少到了只有固定幾十個bytes
那么既然stackless的效率提升這么明顯旦签,stackfull模式還需要嗎?可以比較下兩者的優(yōu)劣:
- stackfull協(xié)程:易用性和靈活性非常高寸宏,但是內存使用過大
- stackless協(xié)程:切換效率和內存利用率很高宁炫,更加輕量,但是使用上限制較多
由于stackless的實現(xiàn)比較輕量氮凝,占用資源也不是很多羔巢,因此tbox默認放置到了micro微內核模式下,作為基礎模塊,提供股嵌入式平臺使用
而一般情況下竿秆,如果對資源使用和切換性能要求不是非称羯悖苛刻的話,使用stackfull的方式會更加方便幽钢,代碼也更易于維護
具體如何選擇歉备,可根據(jù)實際使用場景,自己選擇哦搅吁。威创。
切換
下面給的tbox的stackless協(xié)程切換實例,直觀感受下:
static tb_void_t switchtask(tb_lo_coroutine_ref_t coroutine, tb_cpointer_t priv)
{
// check
tb_size_t* count = (tb_size_t*)priv;
// enter coroutine
tb_lo_coroutine_enter(coroutine)
{
// loop
while ((*count)--)
{
// trace
tb_trace_i("[coroutine: %p]: %lu", tb_lo_coroutine_self(), *count);
// yield
tb_lo_coroutine_yield();
}
}
}
static tb_void_t test()
{
// init scheduler
tb_lo_scheduler_ref_t scheduler = tb_lo_scheduler_init();
if (scheduler)
{
// start coroutines
tb_size_t counts[] = {10, 10};
tb_lo_coroutine_start(scheduler, switchtask, &counts[0], tb_null);
tb_lo_coroutine_start(scheduler, switchtask, &counts[1], tb_null);
// run scheduler
tb_lo_scheduler_loop(scheduler);
// exit scheduler
tb_lo_scheduler_exit(scheduler);
}
}
其實整體接口使用跟tbox的那套stackfull接口類似谎懦,并沒有多少區(qū)別肚豺,但是相比stackfull還是有些限制的:
1. 目前只能支持在根函數(shù)進行協(xié)程切換和等待,嵌套協(xié)程不支持
2. 協(xié)程內部局部變量使用受限
對于限制1界拦,我正在研究中吸申,看看有沒有好的實現(xiàn)方案,之前嘗試過支持下享甸,后來發(fā)現(xiàn)需要按棧結構分級保存每個入口的label地址截碴,這樣會占用更多內存,就放棄了蛉威。
對于限制2日丹,由于stackless協(xié)程函數(shù)是需要重入的,因此目前只能在enter()塊外部定以一些狀態(tài)不變的變量蚯嫌,enter()塊內部不要使用局部變量
接口設計上哲虾,這邊采用boost的模式:
// enter coroutine
tb_lo_coroutine_enter(coroutine)
{
// yield
tb_lo_coroutine_yield();
}
這樣比起protothreads的那種begin()和end(),更加可讀和精簡择示,接口也少了一個束凑。。
參數(shù)傳遞
tb_lo_coroutine_start
的最后兩個參數(shù)栅盲,專門用來傳遞關聯(lián)每個協(xié)程的私有數(shù)據(jù)priv和釋放接口free汪诉,例如:
typedef struct __tb_xxxx_priv_t
{
tb_size_t member;
tb_size_t others;
}tb_xxxx_priv_t;
static tb_void_t tb_xxx_free(tb_cpointer_t priv)
{
if (priv) tb_free(priv);
}
static tb_void_t test()
{
tb_xxxx_priv_t* priv = tb_malloc0_type(tb_xxxx_priv_t);
if (priv)
{
priv->member = value;
}
tb_lo_coroutine_start(scheduler, switchtask, priv, tb_xxx_free);
}
上述例子,為協(xié)程分配一個私有的數(shù)據(jù)結構谈秫,用于數(shù)據(jù)狀態(tài)的維護扒寄,解決不能操作局部變量的問題,但是這樣寫非常繁瑣
tbox里面提供了一些輔助接口拟烫,用來簡化這些流程:
typedef struct __tb_xxxx_priv_t
{
tb_size_t member;
tb_size_t others;
}tb_xxxx_priv_t;
static tb_void_t test()
{
// start coroutine
tb_lo_coroutine_start(scheduler, switchtask, tb_lo_coroutine_pass1(tb_xxxx_priv_t, member, value));
}
這個跟之前的代碼功能上是等價的该编,這里利用tb_lo_coroutine_pass1
宏接口,自動處理了之前的那些設置流程构灸,
用來快速關聯(lián)一個私有數(shù)據(jù)塊給新協(xié)程上渴。
掛起和恢復
這個跟stackfull的接口用法上也是一樣的:
tb_lo_coroutine_enter(coroutine)
{
// 掛起當前協(xié)程
tb_lo_coroutine_suspend();
}
// 恢復指定協(xié)程(這個可以不在協(xié)程函數(shù)內部使用岸梨,其他地方也可以調用)
tb_lo_coroutine_resume(coroutine);
掛起和恢復跟yield的區(qū)別就是,yield后的協(xié)程稠氮,之后還會被切換回來曹阔,但是被掛起的協(xié)程,除非調用resume()恢復它隔披,否則永遠不會再被執(zhí)行到赃份。
等待
當然一般,我們不會直接使用suspend()和resume()接口奢米,這兩個比較原始抓韩,如果需要定時等待,可以使用:
tb_lo_coroutine_enter(coroutine)
{
// 等待1s
tb_lo_coroutine_sleep(1000);
}
來掛起當前協(xié)程1s鬓长,之后會自動恢復執(zhí)行谒拴,如果要進行io等待,可以使用:
static tb_void_t tb_demo_lo_coroutine_client(tb_lo_coroutine_ref_t coroutine, tb_cpointer_t priv)
{
// check
tb_demo_lo_client_ref_t client = (tb_demo_lo_client_ref_t)priv;
tb_assert(client);
// enter coroutine
tb_lo_coroutine_enter(coroutine)
{
// read data
client->size = sizeof(client->data) - 1;
while (client->read < client->size)
{
// read it
client->real = tb_socket_recv(client->sock, (tb_byte_t*)client->data + client->read, client->size - client->read);
// has data?
if (client->real > 0)
{
client->read += client->real;
client->wait = 0;
}
// no data? wait it
else if (!client->real && !client->wait)
{
// 等待socket數(shù)據(jù)
tb_lo_coroutine_waitio(client->sock, TB_SOCKET_EVENT_RECV, TB_DEMO_TIMEOUT);
// 獲取等到的io事件
client->wait = tb_lo_coroutine_events();
tb_assert_and_check_break(client->wait >= 0);
}
// failed or end?
else break;
}
// trace
tb_trace_i("echo: %s", client->data);
// exit socket
tb_socket_exit(client->sock);
}
}
這個跟stackfull模式除了局部變量的區(qū)別涉波,其他使用上幾乎一樣英上,也是同步模式,但是實際上tbox已經在底層把它放入了poller輪詢器中進行等待
在沒有數(shù)據(jù)啤覆,調用tb_lo_coroutine_waitio
進行socket等待事件后苍日,tbox會自動啟用stackless調度器內部的io調度器(默認是不啟用的,延遲加載窗声,減少無畏的資源浪費)
然后進行poll切換調度(內部根據(jù)不同平臺使用epoll, kqueue, poll, 后續(xù)還會支持iocp)相恃。
如果有事件到來,會將收到事件的所有協(xié)程恢復執(zhí)行笨觅,當然也可以指定等待超時拦耐,超時返回或者強行kill中斷掉。
tbox中內置了一個stackless版本的http_server屋摇,實現(xiàn)也是非常輕量揩魂,經測試效率還是非常高的幽邓,
整體表現(xiàn)比stackfull的實現(xiàn)更好炮温。
更多stackless接口使用demo,可以參考tbox的源碼
信號量和鎖
這個就簡單講講了牵舵,使用跟stackfull的類似柒啤,例如:
// the lock
static tb_lo_lock_t g_lock;
// enter coroutine
tb_lo_coroutine_enter(coroutine)
{
// loop
while (lock->count--)
{
// enter lock
tb_lo_lock_enter(&g_lock);
// trace
tb_trace_i("[coroutine: %p]: enter", tb_lo_coroutine_self());
// wait some time
tb_lo_coroutine_sleep(1000);
// trace
tb_trace_i("[coroutine: %p]: leave", tb_lo_coroutine_self());
// leave lock
tb_lo_lock_leave(&g_lock);
}
}
// init lock
tb_lo_lock_init(&g_lock);
// start coroutine
// ..
// exit lock
tb_lo_lock_exit(&g_lock);
這里只是舉個例子,實際使用中盡量還是別這么直接用全局變量哦畸颅。担巩。
個人主頁:TBOOX開源工程
原文出處:http://tboox.org/cn/2016/12/03/stackless-coroutine/