22 Generation
1.Generation
可以用一個RNN產(chǎn)生a character / word
在英文中a-z是character
generate pixal生成圖片
用一個三維的方向map去生成每個位置
想要構(gòu)建右下角的幾個關(guān)系枷莉，用一個3d-lstm,
RNN生成其他任務(wù)
Conditional Generation
讓機器看一些東西赞枕，根據(jù)我們提供的東東去生成；而不是隨機產(chǎn)生
把image通過一個訓(xùn)練好的CNN得到一個向量轰异，扔給RNN疫剃，如果擔(dān)心RNN忘記之前的image，就把image反復(fù)喂給RNN
之前可以用RNN去生成
Machine Translation
把“機器學(xué)習(xí)”四個character扔給一個訓(xùn)練好的RNN，得到最后的一個向量。
encoder和decoder的rnn的參數(shù)可以一樣趣席，可以不一樣。
這就是seq2seq learning
再拿一個encoder記住之前的醇蝴，把前面的說過的都當(dāng)做一個condition
RNN不需要看完整句機器翻譯得到machine，可能看過機器就能得到很好結(jié)果
Attention
計算c1
效果：
00:47：00 講述 memory network
最早做在閱讀理解上
更復(fù)雜的部分：
這件事情叫作hopping想罕，聯(lián)合訓(xùn)練得到a和h向量
neural Turing Machine
turing machine的實現(xiàn)方案：
e1:把原來的memory清空
a1：把計算處理的東東寫到memory中
根據(jù)視頻去生成
TIps for Generation
Attention
Exposure bias解釋：
解決辦法就是Scheduled Sampling
第二種方案是 beam search 柱搜索
當(dāng)每個結(jié)點的分支太多悠栓，就不好搜索，可以用greddy search
左邊是sample出來的按价，而右邊圖直接把前一個rnn計算出來的扔到后面一個惭适，這種做法好微分，好求梯度楼镐。
老師說這個R(y,y_hat)不可以微分癞志，然后用Reinforcement learning做
把genration當(dāng)做reinforcement learning來做
當(dāng)這個sentence被generate出來后，然后再計算R
