偶然的機會,我在公司最近的研發(fā)活動中垃喊,對大模型有了更加深入的了解,在此分享給大家袜炕,一起進步本谜。
去年自從chatG.P.T突然火起來之后,生活中“大模型”被提到的越來越多偎窘。無論在我們的工作還是生活中乌助,或多或少都有了初步的應(yīng)用,如簡書內(nèi)一些網(wǎng)友試用了大模型來生成來寫文章陌知、寫小說他托,使用效果也是褒貶不一,那究竟什么事大模型呢仆葡,它的實現(xiàn)原理是什么赏参,它的強項是什么,有沒有傳說中的那么強大呢沿盅,讓我們來一起探討下把篓。
首先說我的結(jié)論:大模型確實很強大,但也毋需神話嗡呼,它目前還不具備真正的智能纸俭,但確實可以作為我們工作或生活中的強力助手。
大模型全稱大語言模型(Large Language Model)南窗,是人工智能(AI)的一個子領(lǐng)域,專注于自然語言處理。通過大量文本數(shù)據(jù)的訓(xùn)練万伤,能夠生成和理解人類語言窒悔,常見的大模型工具有百度的文心一言、科大訊飛的星火大模型敌买、華為的盤古大模型以及Open.AI的G.P.T系列等等简珠。
大語言模型的實現(xiàn)原理是通過數(shù)學(xué)建模,模擬人類大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)虹钮。這些模型參考神經(jīng)突觸的連接方式聋庵,設(shè)置了大量參數(shù)(可達數(shù)萬億級)進行訓(xùn)練。在訓(xùn)練過程中芙粱,通過大量的數(shù)據(jù)輸入不斷調(diào)整和優(yōu)化參數(shù)祭玉,以實現(xiàn)知識學(xué)習(xí)和儲備。最終春畔,這些模型具備了強大的文本生成能力(廣義上可以解釋為具備一定的理解能力)脱货。大語言模型在文本交互和生成方面表現(xiàn)出色,但其邏輯推理能力相對較弱律姨。
和人類一樣振峻,大語言模型必須經(jīng)過學(xué)習(xí)(預(yù)訓(xùn)練)之后才能擁有智能。其學(xué)習(xí)的材料(語料)包括標(biāo)準知識(如各國語言字典择份、辭典扣孟、教科書、論文等)荣赶、小說文獻凤价、報紙期刊以及龐大的互聯(lián)網(wǎng)信息(如百度、維基百科讯壶、各種論壇料仗、購物網(wǎng)站等)。學(xué)習(xí)材料的質(zhì)量高低伏蚊、內(nèi)容好壞以及數(shù)量多少立轧,都會影響大語言模型的能力。高質(zhì)量躏吊、相關(guān)性強且數(shù)量充足的學(xué)習(xí)材料可以顯著提高模型的表現(xiàn)和準確性氛改。
與我們?nèi)祟惿蠈W(xué)進修類似,大模型也是需要花費大量的時間和金錢成本進行學(xué)習(xí)比伏。以chatG.P.T4為例子胜卤,訓(xùn)練一次G.P.T-4的實際成本大約在4-5億人民幣,時間大約3個月左右赁项,更為重要的是葛躏,使用了擁有25000個NVIDIA A100 GPU顯卡的超級計算機澈段。而這種高端顯卡美國禁止銷售中國,這也大大阻礙了我國大模型技術(shù)的發(fā)展舰攒。--我們整個公司才擁有幾十個中端顯卡败富,技術(shù)如何追趕!
大模型訓(xùn)練好了之后就可以實際應(yīng)用了摩窃,它的實際能力如何呢:
還是以chatG.P.T4為例兽叮,有科研機構(gòu)試驗,用G.P.T-4來作答今年的高考題猾愿,得分在一本線左右鹦聪,語文、外語成績優(yōu)秀蒂秘,數(shù)學(xué)不及格泽本,其他科目70%正確率左右。
我也實際測試過材彪,結(jié)論和上面類似观挎,大模型在處理自然語言任務(wù)方面表現(xiàn)出色,可以生成高質(zhì)量的文本段化,并在許多應(yīng)用中提供有用的幫助嘁捷。然而,它缺乏人類的常識显熏、理解力和自我意識雄嚣,能力仍然有限,不能完全替代人類的智能和判斷力喘蟆。
下面附上幾個例子缓升,實際印證下大模型的真實能力,還是以chatG.P.T4為例:
下面附上幾個例子蕴轨,實際印證下大模型的真實能力港谊,還是以chatG.P.T4為例:
1、看圖寫話(小學(xué)語文橙弱,回答文筆不錯)
2歧寺、語句病句(初中語文,回答基本全對棘脐,一個提醒后回復(fù)正確)
3、閱讀理解(初蛀缝、高中語文顷链、英語,回答全對)備注:文章地址閱讀理解練習(xí)題[集錦15篇] (ruiwen.com) https://www.ruiwen.com/yuedulijie/8192319.html
4屈梁、高等數(shù)學(xué) (回答1對1錯)