偶爾寫一寫

1 自注意力機(jī)制概述 有時(shí)候我們期望網(wǎng)絡(luò)能夠看到全局，但是又要聚焦到重點(diǎn)信息上录语。比如在在做自然語(yǔ)言處理時(shí)吗冤，句子中的一個(gè)詞往往不是獨(dú)立的，和它上下文相關(guān)挪圾，但是和上下文中不同的詞...