獲取更多面試真題的集合苔可，請(qǐng)移步至 https://i.afbcs.cn/naPbNY
說白了：就是attention mask不一樣，如下所示：
image.png
它們定義如下：
Prefix LM（前綴語言模型）：在輸入序列的開頭添加一個(gè)可學(xué)習(xí)的任務(wù)相關(guān)的前綴袋狞，然后使用這個(gè)前綴和輸入序列一起生成輸出焚辅。這種方法可以引導(dǎo)模型生成適應(yīng)特定任務(wù)的輸出。
Causal LM（因果語言模型）：也稱為自回歸語言模型苟鸯，它根據(jù)之前生成的 token 預(yù)測(cè)下一個(gè) token同蜻。在生成文本時(shí)，模型只能根據(jù)已經(jīng)生成的部分生成后續(xù)部分早处，不能訪問未來的信息湾蔓。
