wait_to_read
在mxnet中泽艘，類ndarray可以調(diào)用 wait_to_read，官方給出的該函數(shù)解釋是：
Waits until all previous write operations on the current array are finished.
This method guarantees that all previous write operations that pushed
into the backend engine for execution are actually finished.
Examples
>>> import time
>>> tic = time.time()
>>> a = mx.nd.ones((1000,1000))
>>> b = mx.nd.dot(a, a)
>>> print(time.time() - tic) # doctest: +SKIP
0.003854036331176758
>>> b.wait_to_read()
>>> print(time.time() - tic) # doctest: +SKIP
0.0893700122833252
翻譯過(guò)來(lái)就是吃度，調(diào)用該方法可以保證，之前進(jìn)行的該ndarray的所有寫操作都完成了贴硫。由于MXNet是一個(gè)異步框架椿每，我們使用python接口調(diào)用方法的時(shí)候，只是將該方法push給了執(zhí)行者英遭，由執(zhí)行者來(lái)安排什么時(shí)候執(zhí)行间护。所以，我們就無(wú)法知道挖诸，某一個(gè)操作是不是完成了汁尺。
那么，在知道了該方法的功能后多律，我們的疑問(wèn)就變成了痴突，mxnet是怎么做到的呢？
在mxnet的類ndarray中定義了WaitToRead方法狼荞，如下：
inline void WaitToRead() const {
if (is_none()) return;
Engine::Get()->WaitForVar(ptr_->var);
}
其中ptr_->var指向了該ndarray實(shí)例對(duì)應(yīng)的唯一的var辽装，engine會(huì)根據(jù)該var來(lái)進(jìn)行判斷，當(dāng)前操作對(duì)應(yīng)的是哪個(gè)ndarray相味。
那么拾积，我們只需要知道Engine對(duì)應(yīng)的WariForVar做了什么就好了。在mxnet中實(shí)現(xiàn)了很多種engine丰涉。但是我們用的engine都繼承了類ThreadedEngine的WaitForVar方法拓巧。沒(méi)有重載。
在這個(gè)方法里面一死，主要做了一件事情肛度，就是將一個(gè)操作push給了engine。
該操作需要完成的函數(shù)是：
this, &done](RunContext, CallbackOnComplete on_complete) {
if (engine_info_) {
LOG(INFO) << "Sync is executed";
}
{
std::unique_lock<std::mutex> lock{finished_m_};
done.store(true);
}
finished_cv_.notify_all();
if (engine_info_) {
LOG(INFO) << "Sync is notified";
}
on_complete();
}
輸出是var投慈。
函數(shù)將done賦值為true贤斜，它被初始化為false。之后會(huì)調(diào)用finished_cv_.notify_all();來(lái)通知該方法繼續(xù)運(yùn)行逛裤。
因?yàn)榇袢蓿摲椒〞?huì)在將操作push之后，調(diào)用
{
std::unique_lock<std::mutex> lock{finished_m_};
finished_cv_.wait(lock, [this, &done]() {
return done.load() || kill_.load();
});
}
導(dǎo)致一直等待带族，直到done為true锁荔。
到這里，我們大概明白了ndarray的wait_to_read的方法如何實(shí)現(xiàn)等待蝙砌。
總體思路就是阳堕，調(diào)用了engine的WaitForVar方法跋理。這個(gè)方法會(huì)將一個(gè)操作異步push給engine，這個(gè)操作將一個(gè)原子變量done從false改變?yōu)閠rue恬总。由于push是異步的前普，它會(huì)立刻返回，返回后壹堰，WaitForVar一直等待拭卿，知道done為true。
而engine會(huì)根據(jù)變量來(lái)安排執(zhí)行贱纠，由于這次push的操作的輸出是ndarray對(duì)應(yīng)的var峻厚，因此，engine會(huì)保證所有之前的寫入操作完成谆焊。
