一，ChatGPT簡(jiǎn)介

ChatGPT是一款于2022年11月30日在美國(guó)發(fā)布的聊天機(jī)器人程序，是一款基于人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具。
ChatGPT全稱(chēng)為“Chat Generative Pre-trained Transformer”，Chat是聊天命浴，GPT是“生成型預(yù)訓(xùn)練變換模型”，它可以翻譯成“聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器”或簡(jiǎn)稱(chēng)“優(yōu)化對(duì)話的語(yǔ)言模型”贱除。
ChatGPT是OpenAI開(kāi)發(fā)的生闲、具有語(yǔ)言預(yù)測(cè)與文本續(xù)寫(xiě)功能的一個(gè)大模型。一個(gè)用對(duì)話的方式進(jìn)行交互的模型月幌。一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型碍讯。一個(gè)人工智能聊天機(jī)器人程序。
ChatGPT是一款建立在云計(jì)算扯躺、海量數(shù)據(jù)庫(kù)捉兴、人工智能算法架構(gòu)和深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)之上開(kāi)發(fā)的聊天機(jī)器人程序，它不像傳統(tǒng)的搜索引擎一樣復(fù)制和拼湊網(wǎng)上已有的信息給用戶(hù)缅帘。相反轴术，它提供的回答是有邏輯的难衰、生動(dòng)的钦无，有上下文關(guān)聯(lián)的。
總結(jié)一下盖袭，ChatGPT是美國(guó)人工智能研究實(shí)驗(yàn)室OpenAI新推出的一種人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具失暂，使用了Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)，也是GPT-3.5架構(gòu)鳄虱，這是一種用于處理序列數(shù)據(jù)的模型弟塞，擁有語(yǔ)言理解和文本生成能力，尤其是它會(huì)通過(guò)連接大量的語(yǔ)料庫(kù)來(lái)訓(xùn)練模型拙已，這些語(yǔ)料庫(kù)包含了真實(shí)世界中的對(duì)話决记，使得ChatGPT具備上知天文下知地理，還能根據(jù)聊天的上下文進(jìn)行互動(dòng)的能力倍踪，做到與真正人類(lèi)幾乎無(wú)異的聊天場(chǎng)景進(jìn)行交流系宫。ChatGPT不單是聊天機(jī)器人索昂，還能進(jìn)行撰寫(xiě)郵件、視頻腳本扩借、文案椒惨、翻譯、代碼等任務(wù)潮罪。

ChatGPT功能

ChatGPT目前系統(tǒng)功能主要是文本生成康谆、聊天機(jī)器人、語(yǔ)言問(wèn)答嫉到、語(yǔ)言翻譯沃暗、自動(dòng)文摘、繪畫(huà)功能何恶、編程功能描睦、視頻生成等八大功能模塊所組成。

二导而，ChatGPT底層技術(shù)架構(gòu)

ChatGPT生成性預(yù)訓(xùn)練變換模型

從ChatGPT字面意思來(lái)看忱叭，Chat是聊天，GPT才是關(guān)鍵今艺。
字母G是Generative韵丑，屬于生成的人工智能，根據(jù)我們的需要虚缎，創(chuàng)造生成全新的內(nèi)容撵彻。
字母P是Pre-trained的縮寫(xiě)，預(yù)訓(xùn)練实牡。表示這個(gè)模型已經(jīng)在大量的數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練陌僵，ChatGPT在與人的對(duì)話中幾乎接近正常人的交流，就是因?yàn)橐呀?jīng)接受過(guò)海量數(shù)據(jù)的訓(xùn)練创坞，而這些數(shù)據(jù)就是我們2022年以前在互聯(lián)網(wǎng)上的內(nèi)容（目前版本的ChatGPT還不具備網(wǎng)絡(luò)數(shù)據(jù)實(shí)時(shí)更新功能）碗短。ChatGPT當(dāng)前還沒(méi)有實(shí)現(xiàn)網(wǎng)絡(luò)的實(shí)時(shí)連接，因此回答問(wèn)題的時(shí)效性受到一定的限制题涨。
字母T是Transformer偎谁，轉(zhuǎn)換器的意思，是ChatGPT底層人工智能學(xué)習(xí)的一個(gè)算法架構(gòu)纲堵。

ChatGPT嚴(yán)格意義上來(lái)說(shuō)是一種基于Transformer的自然語(yǔ)言處理模型巡雨。采用預(yù)訓(xùn)練加微調(diào)的方法，通過(guò)對(duì)大規(guī)模語(yǔ)料庫(kù)進(jìn)行預(yù)訓(xùn)練席函，對(duì)標(biāo)注數(shù)據(jù)進(jìn)行微調(diào)铐望，從而使模型能夠適應(yīng)特定的自然語(yǔ)言處理任務(wù)，擁有語(yǔ)言理解和文本生成能力。

ChatGPT的演進(jìn)

ChatGPT使用基于GPT-3.5架構(gòu)的大型語(yǔ)言模型并加以強(qiáng)化訓(xùn)練訓(xùn)練正蛙。
ChatGPT的演進(jìn)過(guò)程：
第一階段：GPT-1發(fā)布
2018年6月炕舵，OpenAl 第一篇論文《Improving Language Understanding by Generative Pre-Training》通過(guò)生成式預(yù)訓(xùn)練來(lái)提高語(yǔ)言理解能力的論文中提出了第一個(gè)模型GPT-1。從這篇論文中得出的關(guān)鍵結(jié)論是跟畅，Transformer 架構(gòu)與無(wú)監(jiān)督預(yù)訓(xùn)練的結(jié)合產(chǎn)生了GPT-1咽筋， 加上有監(jiān)督微調(diào)方式，針對(duì)特定任務(wù)進(jìn)行預(yù)訓(xùn)練徊件，實(shí)現(xiàn)了強(qiáng)大自然語(yǔ)言理解能力奸攻。
第二階段：GPT-2發(fā)布
2019年2月，OpenAI發(fā)表了第二篇論文《Language Models are Unsupervised Multitask Learners》虱痕，推出了GPT-2 睹耐。GPT-2是一種自然語(yǔ)言生成模型，其設(shè)計(jì)目標(biāo)是生成與人類(lèi)語(yǔ)言相似的文本部翘，可以完成多任務(wù)處理硝训。
第三階段：GPT-3發(fā)布
2020年5月，OpenAI發(fā)表第三篇論文《Language Models are Few-Shot Learners》新思，推出了GPT-3窖梁。GPT-2和GPT-3是兩個(gè)不同的模型，它們的主要區(qū)別在于應(yīng)用場(chǎng)景夹囚、模型規(guī)模和性能表現(xiàn)纵刘。GPT-3是一種自然語(yǔ)言生成模型，它是目前規(guī)模最大的預(yù)訓(xùn)練模型荸哟，可以生成高質(zhì)量的自然語(yǔ)言文本假哎，包括文章、詩(shī)歌鞍历、對(duì)話等舵抹。GPT-3還支持一些其他的自然語(yǔ)言任務(wù)，例如翻譯劣砍、問(wèn)答惧蛹、語(yǔ)義搜索等。
第四階段：GPT-3.5 發(fā)布
2022年11月29日秆剪，OpenAI發(fā)布了一個(gè)命名為“text-davinci-003”（文本－達(dá)芬奇-003常稱(chēng)為GPT3.5）的新模型赊淑。它以對(duì)話方式進(jìn)行交互，既能夠做到回答問(wèn)題仅讽，也能承認(rèn)錯(cuò)誤、質(zhì)疑不正確的前提以及拒絕不恰當(dāng)?shù)恼?qǐng)求钾挟。

ChatGPT的預(yù)訓(xùn)練加微調(diào)

所謂的ChatGPT預(yù)訓(xùn)練洁灵，是一個(gè)基于transform模型的預(yù)訓(xùn)練語(yǔ)言模型，它的訓(xùn)練邏輯如下：
第一是語(yǔ)料準(zhǔn)備，從互聯(lián)網(wǎng)上收集大量文本語(yǔ)料徽千。
第二是對(duì)數(shù)據(jù)預(yù)處理苫费，對(duì)語(yǔ)料進(jìn)行處理，把它們分割成許多獨(dú)立的句子或段落双抽，對(duì)每個(gè)句子進(jìn)行分詞百框。分詞后把每個(gè)單詞轉(zhuǎn)換成數(shù)字，生成一個(gè)數(shù)字序列牍汹，然后構(gòu)建成數(shù)字詞典铐维。
ChatGPT訓(xùn)練就是使用這些數(shù)字序列用transformer模型進(jìn)行模擬場(chǎng)景試驗(yàn)，需要投入大量的人工干預(yù)慎菲，并使用監(jiān)督學(xué)習(xí)的方式對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)嫁蛇。根據(jù)獎(jiǎng)勵(lì)模型優(yōu)化策略，然后生成輸出露该，ChatGPT的預(yù)訓(xùn)練應(yīng)當(dāng)是基于正向傳遞睬棚，反向更新，梯度收斂解幼，預(yù)訓(xùn)練模型降低了獲取更高水平人工智能的成本抑党。

ChatGPT的Transformer轉(zhuǎn)換器

ChatGPT的核心技術(shù)之一是Transformer轉(zhuǎn)換器，Transformer技術(shù)是近幾年人工智能技術(shù)最大的亮點(diǎn)之一撵摆，由谷歌的人工智能的團(tuán)隊(duì)“谷歌大腦”首先發(fā)布新荤。
這種模型是使用一種叫自注意力的機(jī)制（self attention mechanism），它允許模型在進(jìn)行預(yù)測(cè)的時(shí)候台汇，可根據(jù)語(yǔ)言序列的任何位置苛骨，為輸入數(shù)據(jù)的不同部分賦予不同的權(quán)重，并支持處理更大的數(shù)據(jù)集苟呐。
Transformer的精度和性能上都比之前流行的CNN（卷積神經(jīng)網(wǎng)絡(luò)）痒芝、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）等模型，大幅提升了模型訓(xùn)練的效果牵素，讓人工智能在更大模型严衬、更多數(shù)據(jù)、更強(qiáng)算力的基礎(chǔ)上進(jìn)一步增強(qiáng)運(yùn)算能力笆呆。此外请琳，還具有很強(qiáng)的跨模態(tài)處理能力，不僅在NLP（自然語(yǔ)言理解）領(lǐng)域表現(xiàn)優(yōu)異赠幕，在語(yǔ)音俄精、圖像方面也顯示出了優(yōu)異的性能。
Transformer是ChatGPT語(yǔ)言模型的核心技術(shù)榕堰，是一種用于序列到序列（Sequence-to-Sequence）任務(wù)的神經(jīng)網(wǎng)絡(luò)模型竖慧，例如機(jī)器翻譯嫌套，語(yǔ)音識(shí)別和生成對(duì)話等，它使用了注意力機(jī)制來(lái)計(jì)算輸入序列和輸出序列之間的關(guān)系圾旨。
Transformer的主要優(yōu)點(diǎn)是它可以并行地處理輸入序列中的所有信息踱讨，因此在訓(xùn)練和推理時(shí)都有很高效率。
此外砍的，Transformer沒(méi)有使用循環(huán)結(jié)構(gòu)痹筛，因此它不受長(zhǎng)序列的影響，并且在處理長(zhǎng)序列時(shí)不會(huì)出現(xiàn)梯度消失或爆炸的問(wèn)題廓鞠。

ChatGPT人類(lèi)反饋優(yōu)化語(yǔ)言模型（RLHF）

ChatGPT 面對(duì)多樣化的問(wèn)題對(duì)答如流帚稠，已經(jīng)打破了機(jī)器和人類(lèi)溝通的邊界，這一工作的背后是大型語(yǔ)言模型 (Large Language Model诫惭，LLM) 生成領(lǐng)域的新訓(xùn)練范式RLHF (Reinforcement Learning from Human Feedback) 翁锡，即依據(jù)人類(lèi)反饋的強(qiáng)化學(xué)習(xí)方法模型。
OpenAI官網(wǎng)上如是說(shuō)：我們使用依據(jù)人類(lèi)反饋的強(qiáng)化學(xué)習(xí)方法模型（RLHF）來(lái)實(shí)施訓(xùn)練夕土，使用監(jiān)督微調(diào)訓(xùn)練一個(gè)初始模型與人類(lèi)人工智能訓(xùn)練師提供對(duì)話馆衔，他們?cè)谄渲邪缪萦脩?hù)和人工智能助手。我們讓培訓(xùn)師可以訪問(wèn)模型編寫(xiě)的建議怨绣，以幫助他們撰寫(xiě)答案角溃。為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型，我們需要收集比較數(shù)據(jù)篮撑，其中包括兩個(gè)或多個(gè)按質(zhì)量排名的模型響應(yīng)减细。為了收集這些數(shù)據(jù)，我們進(jìn)行了人工智能培訓(xùn)師與聊天機(jī)器人的對(duì)話赢笨。我們隨機(jī)選擇了一個(gè)模型編寫(xiě)的消息未蝌，抽樣了幾個(gè)替代完成，并讓AI培訓(xùn)師對(duì)它們進(jìn)行排名茧妒。使用這些獎(jiǎng)勵(lì)模型萧吠，我們可以使用近端策略?xún)?yōu)化來(lái)微調(diào)模型，我們執(zhí)行了此過(guò)程的多次迭代桐筏。

ChatGPT強(qiáng)化學(xué)習(xí)算法訓(xùn)練獎(jiǎng)勵(lì)模型簡(jiǎn)單來(lái)說(shuō)就是分為三個(gè)階段：
第一階段是收集示范數(shù)據(jù)纸型，人工智能培訓(xùn)師與聊天機(jī)器人對(duì)話，并接受監(jiān)督梅忌。
第二階段是收集比較數(shù)據(jù)狰腌，訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型。
第三階段是利用PPO強(qiáng)化學(xué)習(xí)算法牧氮，優(yōu)化一個(gè)針對(duì)獎(jiǎng)勵(lì)模型的策略琼腔。

ChatGPT的DALL.E 2自然語(yǔ)言轉(zhuǎn)換成像技術(shù)

根據(jù)OpenAI官網(wǎng)上的介紹，ChatGPT中的DALL.E 2自然語(yǔ)言轉(zhuǎn)換成像技術(shù)蹋笼，最初只是一個(gè)研究項(xiàng)目展姐，目標(biāo)是制定并繼續(xù)改進(jìn)安全緩解的措施躁垛，其中包括：
第一剖毯、限制DALL·E 2 自然語(yǔ)言轉(zhuǎn)換成影像時(shí)生成暴力圾笨、仇恨或成人圖像。通過(guò)從訓(xùn)練數(shù)據(jù)中刪除有害的視頻內(nèi)容逊谋、使用先進(jìn)的技術(shù)來(lái)防止真實(shí)人物的面部擂达，包括公眾知名人物的面部在視頻中出現(xiàn)。
第二胶滋、遏制用戶(hù)濫用政策板鬓。不允許文本要求生成暴力、成人或政治內(nèi)容等視頻究恤。如果我們的過(guò)濾器發(fā)現(xiàn)可能違反我們政策的文本提示和圖片上傳俭令，ChatGPT就會(huì)采用自動(dòng)化和人工監(jiān)控系統(tǒng)予以拒絕。
OpenAI認(rèn)為：負(fù)責(zé)任的開(kāi)發(fā)和安全監(jiān)管是人工智能的重要組成部分部宿，讓用戶(hù)對(duì)ChatGPT安全系統(tǒng)有信心抄腔。
OpenAI希望DALL.E 2自然語(yǔ)言轉(zhuǎn)換成像技術(shù)能降低圖像生成模型相關(guān)的風(fēng)險(xiǎn)。為此理张，DALL.E 2在互聯(lián)網(wǎng)上數(shù)億張帶標(biāo)題的圖像上進(jìn)行訓(xùn)練赫蛇，刪除并重新加權(quán)其中一些圖像，更改模型學(xué)習(xí)的內(nèi)容雾叭。
同時(shí)悟耘，采用在DALL.E 2中設(shè)置各種防護(hù)欄訓(xùn)練數(shù)據(jù)集，過(guò)濾訓(xùn)練數(shù)據(jù)织狐，放大偏差暂幼、重復(fù)數(shù)據(jù)刪除等多種技術(shù)手段，以防止生成的圖像違反內(nèi)容管制政策移迫。使人們能夠創(chuàng)造性地表達(dá)自己旺嬉，幫助人們了解ChatGPT人工智能系統(tǒng)如何看待和理解我們的世界，對(duì)于創(chuàng)造人類(lèi)的人工智能使命至關(guān)重要起意。

ChatGPT存在哪些局限性

1鹰服，數(shù)據(jù)偏差和樣本不足問(wèn)題。雖然 ChatGPT 使用了很大規(guī)模的語(yǔ)料庫(kù)進(jìn)行預(yù)訓(xùn)練揽咕，但是其在某些領(lǐng)域的樣本仍然不足悲酷，比如在一些非英文的語(yǔ)言中，ChatGPT 的表現(xiàn)不如英文亲善。
2设易，在訓(xùn)練的強(qiáng)化學(xué)習(xí) (RL) 階段，沒(méi)有真相和問(wèn)題標(biāo)準(zhǔn)答案的具體來(lái)源蛹头，來(lái)答復(fù)你的問(wèn)題顿肺。
3戏溺，模型參數(shù)過(guò)多，計(jì)算資源要求高屠尊。ChatGPT 模型參數(shù)數(shù)量大旷祸，對(duì)計(jì)算資源的要求也高，需要大規(guī)模的GPU 集群才能進(jìn)行訓(xùn)練和應(yīng)用讼昆。
4托享，監(jiān)督訓(xùn)練可能會(huì)誤導(dǎo)/偏向模型傾向于知道理想的答案，而不是模型生成一組隨機(jī)的響應(yīng)并且只有人類(lèi)評(píng)論者選擇好的/排名靠前的響應(yīng)

三，一些看法

吳軍（計(jì)算機(jī)科學(xué)家，暢銷(xiāo)書(shū)《浪潮之巔》作者）對(duì)于 ChatGPT 的看法

在美國(guó)煎楣，大家談?wù)?ChatGPT 也就十幾天的時(shí)間，之后大家就不談這件事了羡榴。但是在中國(guó)，大家卻造出了一個(gè)神运敢。以前校仑，造出的神還是人，比如喬布斯者冤、馬斯克肤视，但是現(xiàn)在卻把一個(gè)機(jī)器或者工具神化了。ChatGPT 產(chǎn)生的內(nèi)容涉枫，基本上是沒(méi)有營(yíng)養(yǎng)的邢滑，我們?cè)谧xChatGPT寫(xiě)的文章時(shí)，讀第一遍可能會(huì)覺(jué)得很有意思愿汰，感覺(jué)它寫(xiě)的東西跟人寫(xiě)的有點(diǎn)像困后，但是，接下來(lái)讀其他文章的時(shí)候衬廷，就越發(fā)的發(fā)現(xiàn)摇予，ChatGPT 寫(xiě)的文章，幾乎都是車(chē)轱轆話吗跋，沒(méi)有什么意義侧戴。
其實(shí)，ChatGPT 是一個(gè)概率模型跌宛，這個(gè)模型保證輸出優(yōu)質(zhì)結(jié)果的概率最大酗宋。比如，我想寫(xiě)一份簡(jiǎn)歷疆拘，并給出了一些關(guān)鍵詞蜕猫，通過(guò)一定的預(yù)測(cè)、整合哎迄，ChatGPT會(huì)輸出一份簡(jiǎn)歷回右，這份簡(jiǎn)歷隆圆，可能是現(xiàn)有互聯(lián)網(wǎng)資源中的最優(yōu)簡(jiǎn)歷。這時(shí)翔烁，我們可以把互聯(lián)網(wǎng)上跟我給出的關(guān)鍵詞相關(guān)的所有簡(jiǎn)歷當(dāng)作是條件渺氧，把 ChatGPT 輸出的簡(jiǎn)歷當(dāng)作是結(jié)果。試想租漂，如果互聯(lián)網(wǎng)上沒(méi)有現(xiàn)有的所有簡(jiǎn)歷阶女，ChatGPT 可以輸出的簡(jiǎn)歷颊糜，會(huì)是什么樣的呢哩治？
ChatGPT 在技術(shù)上是一個(gè)語(yǔ)言模型——用現(xiàn)在的語(yǔ)言或知識(shí)來(lái)預(yù)測(cè)一些新的語(yǔ)言或者知識(shí)，所以它不會(huì)產(chǎn)生新的知識(shí)衬鱼。人類(lèi)的價(jià)值在于產(chǎn)生新的知識(shí)业筏，而 ChatGPT 就像一臺(tái)復(fù)讀機(jī)。也正是因如此鸟赫，ChatGPT 對(duì)于在抖音或者快手等平臺(tái)上蒜胖，生產(chǎn)沒(méi)有營(yíng)養(yǎng)的內(nèi)容、文字的人沖擊最大——同樣是沒(méi)有營(yíng)養(yǎng)的內(nèi)容抛蚤，但 ChatGPT 的生產(chǎn)效率更高台谢，甚至于質(zhì)量更好。
但是岁经，對(duì)于稍微有一些創(chuàng)作性的工作朋沮，ChatGPT 是替代不了的。但是缀壤，現(xiàn)在互聯(lián)網(wǎng)上80%的內(nèi)容都是沒(méi)有營(yíng)養(yǎng)的樊拓，而這80%的內(nèi)容，是可以交給 ChatGPT 來(lái)做的塘慕。
幾年前有一次筋夏，出于好奇，我寫(xiě)了一個(gè)簡(jiǎn)短的程序图呢，想看看它能不能寫(xiě)唐詩(shī)条篷。其實(shí)，答案顯而易見(jiàn)——可以——只要把李白的詩(shī)學(xué)習(xí)一遍蛤织，就能寫(xiě)出李白風(fēng)格的詩(shī)赴叹。但是，程序?qū)懗鰜?lái)的詩(shī)瞳筏，是沒(méi)有李白或者杜甫他們?cè)谔囟ōh(huán)境下而產(chǎn)生的深刻感悟的稚瘾，換言之，是沒(méi)有營(yíng)養(yǎng)的姚炕。
同理摊欠，ChatGPT 并不是一個(gè)很神秘的東西丢烘，只是現(xiàn)在很多的人將它神化了。說(shuō)嚴(yán)重些些椒，如果你也跟著一起造神播瞳，那最后的結(jié)果就是被割韭菜。