前言

繼續(xù)上一篇提示工程(Prompt Engineering)-基礎(chǔ)提示到這個時候来累，應(yīng)該很明顯了，改進提示可以幫助在不同任務(wù)上獲得更好的結(jié)果赁项。這就是提示工程的整個理念。

雖然在基礎(chǔ)篇的一些列子很有趣，但在我們深入探討更高級的概念之前议惰，讓我們更正式地介紹一些概念整份。

一蟋座、Zero-Shot提示

今天的大語言模型在大量數(shù)據(jù)的訓(xùn)練和調(diào)整指令后膜眠，能夠進行zero-shot任務(wù)執(zhí)行岩臣。我們實際上在前面部分嘗試了一些zero-shot示例。這里是我們使用的一個示例：

Prompt:

將文本分類為中性宵膨、負面或積極婿脸。

文本：我認為這個假期還可以。
情感：

Output:

中性

請注意柄驻，在上面的提示中，我們沒有提供模型任何示例——這就是zero-shot功能的作用焙压。當zero-shot無法正常工作時鸿脓，建議在Prompt中提供演示或示例。下面我們將討論稱為 few-shot 提示的方法涯曲。

二野哭、Few-Shot 提示

盡管大型語言模型已經(jīng)展示了顯著的zero-shot能力，但當使用zero-shot設(shè)置時幻件，它們在更復(fù)雜的任務(wù)上仍然表現(xiàn)不足拨黔。為了改進這一點，few-shot prompt被用作一種技術(shù)绰沥，以實現(xiàn)上下文學(xué)習(xí)篱蝇，在Prompt中提供演示贺待，以引導(dǎo)模型獲得更好的性能。這些演示作為后續(xù)示例的條件零截，我們希望模型生成響應(yīng)麸塞。

讓我們通過一個在Brown et al. 2020中提出的示例來演示 few-shot 提示。在這個例子中涧衙，任務(wù)是在一個句子中正確使用一個新詞哪工。

Prompt:

"Whatpu" 是一種生長在坦桑尼亞的小型毛茸茸的動物。使用這個詞的一個例子是：
我們在非洲旅行時看到了這些非郴“ィ可愛的 whatpus雁比。

"Farduddle" 的意思是快速地上下跳動。使用這個詞的一個例子是：

Output:

Farduddle 這個詞的一個例子是：我弟弟在床上快速地上下跳動撤嫩，就像他正在做 farduddle 一樣偎捎。

我們可以清楚地觀察到，模型通過僅提供一個示例（即1-shot）學(xué)會了如何執(zhí)行任務(wù)非洲。對于更困難的任務(wù)鸭限，我們可以嘗試增加演示次數(shù)（例如3-shot、5-shot两踏、10-shot等）败京。

根據(jù) Min et al. (2022)，在進行 few-shot 時梦染，以下是一些有關(guān)演示/范例的技巧：

• "演示中指定的標簽空間和輸入文本的分布都是關(guān)鍵因素（無論標簽是否正確）"
• 即使只是使用隨機標簽赡麦，使用的格式也對性能起著關(guān)鍵作用，這比不使用標簽要好得多帕识。
• 附加結(jié)果表明泛粹，從真實標簽分布中選擇隨機標簽（而不是均勻分布）也有幫助。

讓我們嘗試一些示例肮疗。讓我們首先嘗試一個具有隨機標簽的示例（意味著將負面和積極標簽隨機分配給輸入）：

Prompt:

這很棒晶姊！// 負面
這很糟糕！// 積極
哇伪货，那部電影太棒了们衙！// 積極
多么可怕的表演！//

Output:

這很棒碱呼！// 積極
這很糟糕蒙挑！// 負面
哇，那部電影太棒了愚臀！// 積極
多么可怕的表演忆蚀！// 負面

盡管標簽已被隨機化，我們?nèi)匀坏玫搅苏_的答案。請注意馋袜，我們也保留了格式男旗，這也有所幫助。實際上桃焕，通過進一步實驗剑肯，我們正在進行的新型 GPT 模型似乎變得更加強大，即使是在隨機格式下也是如此观堂。例如：

Prompt:

積極 這太棒了让网！
這很糟糕！負面
哇师痕，那部電影太棒了溃睹！
積極
多么可怕的表演！--

Output:

負面

Few-shot Prompting 的局限性

標準的 Few-shot Prompting 技術(shù)對于許多任務(wù)來說表現(xiàn)良好胰坟，但在處理更復(fù)雜的推理任務(wù)時仍不是一種完美的技術(shù)因篇。讓我們演示一下為什么會出現(xiàn)這種情況。您還記得我們之前提供的以下任務(wù)的例子嗎笔横？

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：15竞滓、32、5吹缔、13商佑、82、7厢塘、1茶没。

A:

如果我們再試一次，模型輸出如下：

是的晚碾，這組數(shù)中的奇數(shù)加起來是一個偶數(shù)抓半。

其中奇數(shù)有15、5格嘁、13笛求、7、1糕簿，它們的和為41涣易，是一個奇數(shù)。

這不是正確的回答冶伞，這不僅突顯了這些系統(tǒng)的局限性，而且需要更先進的提示工程技術(shù)步氏。讓我們嘗試添加一些示例响禽，看看是否可以改善 Few-shot Prompting 的結(jié)果。

Prompt:

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：4、8芋类、9隆嗅、15、12侯繁、2胖喳、1。
A：答案是 False贮竟。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：17丽焊、10、19咕别、4技健、8、12惰拱、24雌贱。
A：答案是 True。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：16偿短、11欣孤、14、4昔逗、8降传、13、24纤子。
A：答案是 True搬瑰。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：17、9控硼、10泽论、12、13卡乾、4翼悴、2。
A：答案是 False幔妨。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：15鹦赎、32、5误堡、13古话、82、7锁施、1陪踩。
A:

Output:

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：15杖们、32、5肩狂、13摘完、82、7傻谁、1孝治。
A：答案是 False。

Few-shot Prompting 對于此類推理問題的已經(jīng)能夠獲得可靠響應(yīng)审磁。上面的例子提供了任務(wù)的基本信息谈飒。如果您仔細觀察，我們所介紹的任務(wù)類型涉及幾個更多的推理步驟力图。換句話說步绸，如果我們將問題分解成步驟，并向模型演示吃媒，可能會有所幫助瓤介。最近，chain-of-thought (CoT) prompting已經(jīng)普及赘那，用于解決更復(fù)雜的算術(shù)刑桑、常識和符號推理任務(wù)。

總的來說募舟，提供示例對于解決一些任務(wù)是有用的祠斧。當零次提示和少次提示不足時，這可能意味著模型所學(xué)到的不足以勝任任務(wù)拱礁。因此琢锋，建議開始考慮微調(diào)您自己的模型或嘗試更高級的提示技術(shù)。接下來呢灶，我們將討論一種流行的提示技術(shù)吴超，稱為 chain-of-thought prompting，它已經(jīng)廣受歡迎鸯乃。

三鲸阻、Chain-of-Thought Prompting

Wei等人（2022）介紹了 chain-of-thought (CoT) prompting，它通過中間推理步驟實現(xiàn)復(fù)雜的推理能力缨睡。您可以將其與 Few-shot Prompting 結(jié)合使用鸟悴，以在需要推理后響應(yīng)的更復(fù)雜任務(wù)中獲得更好的結(jié)果。

Prompt:

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：4奖年、8细诸、9、15陋守、12震贵、2鹏浅、1。
A：將所有奇數(shù)相加（9屏歹、15、1）之碗，得到25蝙眶。答案是 False。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：17褪那、10幽纷、19、4博敬、8友浸、12、24偏窝。
A：將所有奇數(shù)相加（17收恢、19），得到36祭往。答案是 True伦意。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：16、11搏熄、14聪全、4全释、8、13离钝、24。
A：將所有奇數(shù)相加（11褪储、13）卵渴，得到24。答案是 True乱豆。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：17奖恰、9、10宛裕、12瑟啃、13、4揩尸、2蛹屿。
A：將所有奇數(shù)相加（17、9岩榆、13）错负，得到39坟瓢。答案是 False。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：15犹撒、32折联、5、13识颊、82诚镰、7、1祥款。
A:

Output:

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：15清笨、32、5刃跛、13抠艾、82、7桨昙、1检号。
A：答案是 False。

哇绊率！我們可以看到當我們提供推理步驟時谨敛，結(jié)果是完美的。實際上滤否，我們可以通過提供更少的示例來解決此任務(wù)脸狸，即只提供一個示例似乎就足夠了：

Prompt:

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：4、8藐俺、9炊甲、15、12卿啡、2、1浙宜。
A：將所有奇數(shù)相加（9粟瞬、15裙品、1）岁忘，得到25昆雀。答案是 False揩懒。

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：15臣镣、32、5弃舒、13、82削锰、7、1蛹稍。
A:

Output:

這組數(shù)中的奇數(shù)加起來是一個偶數(shù)：15饲宿、32仗阅、5短绸、13、82、7囚企、1伤疙。
A：答案是 False。因為將所有奇數(shù)相加（15衅澈、5拭抬、13、7份蝴、1）犁功，得到41，是一個奇數(shù)，不是偶數(shù)案糙。

請記住，作者聲稱這是足夠大的語言模型所產(chǎn)生的一種新興能力。

四佳镜、Zero-Shot CoT

最近提出的一個新思路是 zero-shot CoT (Kojima等人 2022)啊掏，其基本上涉及將“讓我們一步步思考”添加到原始提示中。讓我們嘗試一個簡單的問題衰猛，看看模型的表現(xiàn)如何：

Prompt:

我去市場買了10個蘋果娜睛。我給了鄰居2個蘋果和給修理工2個蘋果。然后我又去買了5個蘋果卦睹，并吃了1個畦戒。我還剩下多少蘋果？

Output:

我去市場買了10個蘋果结序。我給了鄰居2個蘋果和給修理工2個蘋果障斋。然后我又去買了5個蘋果，并吃了1個。我還剩下6個蘋果垃环。

答案是不正確的邀层！現(xiàn)在讓我們試試特殊提示的方式。

Prompt:

我去市場買了10個蘋果晴裹。我給了鄰居2個蘋果和給修理工2個蘋果被济。然后我又去買了5個蘋果，并吃了1個涧团。我還剩下多少蘋果只磷？

讓我們一步步思考。

Output:

好的泌绣，讓我們逐步解決這個問題钮追。

我去市場買了10個蘋果。

剩余蘋果數(shù)：10個阿迈。

我給了鄰居2個蘋果和給修理工2個蘋果元媚。

剩余蘋果數(shù)：6個。

然后我又去買了5個蘋果苗沧。

剩余蘋果數(shù)：11個刊棕。

并吃了1個。

剩余蘋果數(shù)：10個待逞。

所以甥角，最后我還剩下10個蘋果。

實際上识樱，這個簡單的提示在這個任務(wù)上非常有效嗤无，令人印象深刻。這在您沒有太多示例可用于提示的情況下特別有用怜庸。

五当犯、Self-Consistency

或許，對于提示工程來說割疾，更高級的技術(shù)之一就是self-consistency嚎卫。Wang et al. (2022)提出了自一致性的概念，旨在“取代鏈式思維提示中使用的簡單貪婪解碼”宏榕。其思路是通過少次 CoT 來采樣多條不同的推理路徑驰凛，并使用生成結(jié)果來選擇最一致的答案。這有助于提高 CoT 提示在涉及算術(shù)和常識推理任務(wù)中的性能担扑。

讓我們嘗試下面這個算術(shù)推理的例子：

Prompt:

當我6歲時恰响，我的妹妹的年齡是我的一半。現(xiàn)在我70歲了涌献，我的妹妹現(xiàn)在多少歲胚宦？

Output:

根據(jù)題目所給的信息，當我6歲時，我的妹妹的年齡是3歲（即6的一半）枢劝。由此可知井联，我和我的妹妹之間的年齡差是3歲。

現(xiàn)在我70歲了您旁，所以我的妹妹比我小3歲烙常，也就是67歲。因此鹤盒，我的妹妹現(xiàn)在是67歲蚕脏。

不得不說，chatgpt在這塊兒已經(jīng)比davinci-3 “聰明”了不少侦锯，已經(jīng)能夠正確回答這類算數(shù)推理的問題了驼鞭。

Prompt:

問：林地里有15棵樹。種植工人今天將在這個區(qū)域種植樹木尺碰。完成后挣棕，這里將有21棵樹。種植工人今天種了多少棵樹亲桥？
答：開始有15棵樹洛心。后來有21棵樹。差異必須是他們種植的樹木數(shù)量题篷。因此词身，他們必須種植21-15=6棵樹。答案是6悼凑。

問：停車場里有3輛汽車，又來了2輛汽車璧瞬，現(xiàn)在停車場里有多少輛汽車户辫？
答：停車場里已經(jīng)有3輛汽車。又來了2輛嗤锉，現(xiàn)在有3+2=5輛汽車渔欢。答案是5。

問：莉婭有32塊巧克力瘟忱，她的姐姐有42塊奥额。如果他們吃掉了35塊，他們現(xiàn)在總共剩下多少塊巧克力访诱？
答：莉婭有32塊巧克力垫挨，她的姐姐有42塊，這意味著原來有32+42=74塊巧克力触菜。已經(jīng)吃掉了35塊九榔。所以他們現(xiàn)在總共剩下74-35=39塊巧克力。答案是39。

問：杰森有20個棒棒糖哲泊。他給了丹尼一些棒棒糖∈ｓ埃現(xiàn)在杰森只剩下12個棒棒糖。杰森給了丹尼多少個棒棒糖切威？
答：杰森有20個棒棒糖育特。由于他現(xiàn)在只有12個，所以他必須把剩下的都給了丹尼先朦。他給丹尼的棒棒糖數(shù)量必須是20-12=8個棒棒糖缰冤。答案是8。

問：肖恩有5個玩具烙无。圣誕節(jié)時锋谐，他從他的父母那里各得到了兩個玩具。現(xiàn)在他有多少個玩具截酷？
答：他有5個玩具涮拗。他從媽媽那里得到了2個，所以他現(xiàn)在有5+2=7個玩具迂苛。然后他從爸爸那里得到了另外2個三热，所以他總共有7+2=9個玩具。答案是9三幻。

Q：服務(wù)器房里原本有九臺電腦就漾。從周一到周四，每天又增加了五臺電腦∧畎幔現(xiàn)在服務(wù)器房里有多少臺電腦抑堡？
A：從周一到周四一共有四天，每天增加五臺電腦朗徊。所以總共增加了4 * 5 = 20 臺電腦首妖。一開始有九臺電腦，現(xiàn)在總共有 9 + 20 = 29 臺電腦爷恳。答案是29有缆。

Q：Michael有58個高爾夫球。周二他丟了23個高爾夫球温亲，周三又丟了2個棚壁。到周三結(jié)束時他還有多少高爾夫球？
A：Michael最初有58個高爾夫球栈虚。周二他丟了23個袖外，所以他還剩下58 - 23 = 35個高爾夫球。周三又丟了2個魂务，現(xiàn)在他還剩下35 - 2 = 33個高爾夫球在刺。答案是33逆害。

Q：Olivia有23美元。她買了五個3美元的百吉餅蚣驼。她還剩下多少錢魄幕？
A：她花了5 * 3 = 15美元買了五個百吉餅。所以她還剩下23 - 15 = 8美元颖杏。

Q：當我6歲時纯陨，我的姐姐的年齡是我的一半。現(xiàn)在我70歲了留储，我的姐姐多少歲翼抠？
A：

Output 1:

當我6歲時，我的姐姐比我大3歲获讳，因為我的姐姐的年齡是我的一半加上3歲∫跤保現(xiàn)在我70歲了，經(jīng)過64年丐膝，我的年齡是當初的10倍量愧。所以，如果我的姐姐當初比我大3歲帅矗，現(xiàn)在她的年齡是10 * 3 = 30歲偎肃。因此，我的姐姐現(xiàn)在應(yīng)該是70 + 30 = 100歲浑此。

Output 2:

當我6歲時累颂，我的姐姐的年齡比我大6歲，也就是12歲（6歲的兩倍）×菥悖現(xiàn)在我70歲了紊馏，過去的時間是70-6=64年。由于這64年中蒲犬，我的姐姐年齡始終比我大6歲朱监，所以她的年齡應(yīng)該是70-64+6=12歲+6歲=18歲。因此暖哨，我的姐姐現(xiàn)在應(yīng)該是18歲赌朋。

Output 3:

當我6歲時凰狞，我的姐姐比我年齡大3歲篇裁，因為3是6的一半。現(xiàn)在我70歲了赡若，那么我的姐姐的年齡就是70-3=67歲达布。

計算最終答案涉及幾個步驟（請查看論文了解詳情），但為了簡單起見逾冬，我們可以清楚地看到已經(jīng)出現(xiàn)了大多數(shù)的答案黍聂，因此那將成為最終答案躺苦。

六、Generated Knowledge 提示

大語言模型（LLMs）不斷得到改進产还，其中一種流行的技術(shù)是能夠整合知識或信息匹厘，以幫助模型進行更準確的預(yù)測。

使用類似的想法脐区，模型是否也可以在進行預(yù)測之前生成知識愈诚？這正是 Liu et al. 2022在論文中嘗試的內(nèi)容——生成用作提示的知識。特別是牛隅，這對于常識推理等任務(wù)有多大幫助炕柔？

讓我們試試一個簡單的提示

Prompt:

高爾夫的一部分是試圖獲得比其他人更高的得分總數(shù)。是或不是媒佣？

Output:

是的匕累，高爾夫的一部分是試圖獲得比其他人更高的得分總數(shù)。

這種錯誤揭示了大型語言模型在執(zhí)行需要更多關(guān)于世界知識的任務(wù)時的局限性默伍。我們?nèi)绾瓮ㄟ^知識生成來改進這一點欢嘿？

首先，我們生成一些“知識”： Prompt:

輸入：希臘比墨西哥大巡验。
知識：希臘面積約為131,957平方公里际插，而墨西哥約為1,964,375平方公里，使得墨西哥比希臘大了1,389%显设。

輸入：眼鏡總是會起霧框弛。
知識：當汗水、呼吸和環(huán)境濕度中的水蒸氣著陸在一個冷表面上時捕捂，會在眼鏡鏡片上產(chǎn)生冷凝瑟枫，然后變成微小的液滴，形成你看到的霧氣指攒。與你的呼吸相比慷妙，鏡片相對較冷，特別是在外部空氣寒冷時允悦。

輸入：魚有思維能力膝擂。
知識：魚比它們表現(xiàn)出來的更聰明。在許多領(lǐng)域隙弛，例如記憶力架馋，它們的認知能力與甚至超過非人靈長類動物等“高級”脊椎動物的認知能力。魚的長期記憶幫助它們跟蹤復(fù)雜的社交關(guān)系全闷。

輸入：一個人一生中吸煙量大叉寂，患肺癌的幾率比正常人高。
知識：那些終身平均每天少于一支煙的人总珠，患肺癌的風(fēng)險是從未吸煙者的九倍屏鳍。在每天吸煙1到10支煙之間的人中勘纯，死于肺癌的風(fēng)險幾乎比從未吸煙者高出12倍。

輸入：一塊石頭和一顆卵石大小相同钓瞭。
知識：卵石是巖石的一種驳遵，根據(jù)沉積學(xué)中的Udden-Wentworth比例尺，其粒徑為4到64毫米山涡。卵石通常被認為比顆粒（直徑2到4毫米）大超埋，比卵石（直徑64到256毫米）小。

輸入：高爾夫球的一部分是試圖比其他人獲得更高的分數(shù)佳鳖。
知識：

Knowledge 1:

高爾夫球的目標是在球場上使用盡可能少的桿數(shù)將球打入洞中霍殴。高爾夫球手通過在每個洞上打出最少的桿數(shù)來獲得更低的總分數(shù)。因此系吩，高爾夫球的一部分是試圖比其他人獲得更低的分數(shù)来庭，而不是更高的分數(shù)。

Knowledge 2:

知識：高爾夫球是一項球類運動穿挨，目的是將球打進被稱為“洞”的小孔中月弛，盡可能少地使用球桿。每個球場都有不同的“標準桿數(shù)”科盛，即完成球場上所有洞的理論最少桿數(shù)帽衙。高爾夫球比賽通常是個人賽或團體賽，其中一部分是競爭比賽贞绵，試圖比其他人獲得更低的桿數(shù)厉萝，另一部分是計分賽，試圖在規(guī)定桿數(shù)內(nèi)取得最高的得分榨崩。

我們正在使用Liu et al. 2022的論文中提供的提示谴垫。

下一步是將知識整合并得出預(yù)測。我將問題重新格式化為問答格式母蛛，以指導(dǎo)答案的格式翩剪。

Prompt:

問題：高爾夫球的一部分是試圖比其他人獲得更高的分數(shù)。是或否彩郊？

知識：高爾夫球的目標是以最少的桿數(shù)打完一組洞前弯。一般一場高爾夫球賽包括18個洞。每個洞在標準高爾夫球場上打一次秫逝。每一桿都算一分恕出，總桿數(shù)用于確定比賽的獲勝者。

解釋和答案：

Answer 1 :

否筷登。高爾夫球的目標是以最少的桿數(shù)打完一組洞剃根，每一桿都算一分哩盲，總桿數(shù)用于確定比賽的獲勝者前方。因此狈醉，高爾夫球的一部分是試圖比其他人獲得更低的分數(shù)。

問題：高爾夫球的一部分是試圖比其他人獲得更高的分數(shù)惠险。是或否苗傅？

知識：高爾夫球是一項需要精密球桿技術(shù)的運動，參賽選手（或高爾夫球手）使用多種類型的球桿將球打進球場上的一系列洞中班巩，以最少的桿數(shù)完成比賽渣慕。目標是用最少的桿數(shù)完成比賽，得分是通過計算每個洞上的桿數(shù)總和得出的抱慌。得分最低的球員獲勝逊桦。

解釋和答案：

Answer 2 (confidence is a lot lower):

回答：否。高爾夫球的目標是用最少的桿數(shù)完成比賽抑进，得分是通過計算每個洞上的桿數(shù)總和得出的强经。因此，高爾夫球的一部分是試圖比其他人獲得更低的分數(shù)寺渗，得分最低的球員獲勝匿情。

在這個例子中發(fā)生了一些非常有趣的事情。在第一個答案中信殊，模型非常自信炬称，但在第二個答案中則不然。我為了演示目的而簡化了這個過程涡拘，但在得出最終答案時還有一些細節(jié)需要考慮玲躯。請查閱論文以獲取更多信息。

七鳄乏、Automatic Prompt Engineer (APE)

Zhou et al., (2022)提出了一個名為“自動提示工程師”（APE）的框架府蔗，用于自動生成和選擇指令。指令生成問題被構(gòu)建為自然語言合成汞窗，使用LLMs解決黑盒優(yōu)化問題來生成和搜索候選解決方案姓赤。

第一步涉及一個大型語言模型（作為推理模型），該模型給出輸出演示仲吏，為任務(wù)生成指令候選項不铆。這些候選解決方案將指導(dǎo)搜索過程。指令使用目標模型執(zhí)行裹唆，然后根據(jù)計算的評估分數(shù)選擇最適合的指令誓斥。

APE發(fā)現(xiàn)了比人工設(shè)計的“讓我們一步一步地思考”（Kojima等人，2022年）更好的零樣本CoT提示许帐。

該提示“讓我們一步一步地解決它劳坑，以確保我們有正確的答案成畦【喾遥”引發(fā)了連鎖思維，并提高了在MultiArith和GSM8K基準測試中的性能舀武。

image.png

本文涉及一個與提示工程相關(guān)的重要主題，即自動優(yōu)化提示的想法离斩。雖然本指南不會深入探討這個主題，但如果您對此感興趣跛梗，以下是幾篇關(guān)鍵論文：

• AutoPrompt - 提出了一種基于梯度引導(dǎo)搜索的方法，用于自動創(chuàng)建各種任務(wù)的提示核偿。
• Prefix Tuning - 一種輕量級的Fine-tuning替代方案操软，為NLG任務(wù)準備一個可訓(xùn)練的連續(xù)前綴。
• Prompt Tuning - 提出了一種通過反向傳播學(xué)習(xí)軟提示的機制宪祥。