序章
一直以來總想把個(gè)人的學(xué)習(xí)內(nèi)容記錄下來鉴吹，在這過程中總會(huì)有各種理由導(dǎo)致該計(jì)劃沒有實(shí)現(xiàn)；借這次外界環(huán)境的變更，再次開始記錄日記踏拜，希望能持續(xù)堅(jiān)持下來；
記錄的內(nèi)容只是屬于個(gè)人在記錄時(shí)了解的信息举庶，存在錯(cuò)誤执隧、混淆的內(nèi)容是在所難免，當(dāng)然在個(gè)人意識(shí)到錯(cuò)誤時(shí)户侥，亦會(huì)進(jìn)行更新（錯(cuò)誤的內(nèi)容亦會(huì)保留）
第 0 章 初涉LLMs
大語言模型來了
- 出生
大語言模型（Large Language Models, LLMs）是自然語言處理（NLP）領(lǐng)域的重要發(fā)展镀琉，它能夠理解和生成人類語言；在發(fā)展的時(shí)間上蕊唐，可以追溯到20 世紀(jì) 50 年代屋摔； - 歷程
20 世紀(jì) 50 年代，人們開始進(jìn)行神經(jīng)網(wǎng)絡(luò)和神經(jīng)信息處理系統(tǒng)的實(shí)驗(yàn)替梨，嘗試讓計(jì)算機(jī)處理自然語言钓试；
20 世紀(jì) 60 年代，世界上第一個(gè)聊天機(jī)器人 Eliza 誕生副瀑，使用模式識(shí)別來模擬人類對(duì)話弓熏，將用戶的輸入轉(zhuǎn)化為問題，并根據(jù)一組預(yù)定義的規(guī)則生成響應(yīng)糠睡；
20 世紀(jì)末 - 21 世紀(jì)初挽鞠，算力不斷提升，互聯(lián)網(wǎng)興起狈孔，數(shù)據(jù)爆發(fā)式積累信认，進(jìn)而出現(xiàn)一些新的技術(shù)和模型，如1997年的長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)均抽；
21 世紀(jì)初 - 2017 年嫁赏，深度學(xué)習(xí)快速發(fā)展，2013 年油挥，自然語言處理模型 Word2Vec 誕生（將單詞轉(zhuǎn)換為向量的 “詞向量模型”）潦蝇，2017 年款熬，Vaswani 等人提出了 Transformer 架構(gòu)（具有獨(dú)特的注意力機(jī)制，為大語言模型的發(fā)展提供了重要的技術(shù)支持）护蝶；
2018 年 - 2021 年华烟，基礎(chǔ)模型提出，2018 年持灰，Google 和 OpenAI 分別提出了 BERT-1 和 GPT-1 模型盔夜，開啟了預(yù)訓(xùn)練語言模型時(shí)代；
2019 年 - 2022 年堤魁，研究人員開始探索在不針對(duì)單一任務(wù)進(jìn)行微調(diào)的情況下如何能夠發(fā)揮大規(guī)模語言模型的能力喂链，同時(shí)提出指令微調(diào)方案（2022 年，Ouyang 等人提出了使用 “有監(jiān)督微調(diào) + 強(qiáng)化學(xué)習(xí)” 的 InstructGPT 算法妥泉，有效提升了模型的性能）椭微；
2022 年至今，爆發(fā)式發(fā)展盲链，遍地開花蝇率；從 2022 年開始，大模型呈現(xiàn)爆發(fā)式的增長(zhǎng)刽沾，各大公司和研究機(jī)構(gòu)相繼發(fā)布了此類系統(tǒng)本慕；同時(shí)模型的參數(shù)規(guī)模不停的擴(kuò)大； - 狼來了
大語言模型對(duì)于社會(huì)發(fā)展帶來一定的沖擊侧漓，個(gè)人認(rèn)為目前還無法完全評(píng)估其沖擊的范圍锅尘；樂觀來看，提升了工作的效率布蔗，降低了知識(shí)學(xué)習(xí)獲取的門檻藤违，也對(duì)科研有一定的促進(jìn)作用；但悲觀來說纵揍，社會(huì)將帶來一定的動(dòng)蕩（崗位取代帶來的失業(yè)問題）顿乒，倫理道德，隱私數(shù)據(jù)安全泽谨，知識(shí)產(chǎn)權(quán)等都將收到挑戰(zhàn)璧榄；有興趣的可以自行了解下 DAN聊天機(jī)器人；
國(guó)外的一些大模型
OpenAI GPT
基于深度學(xué)習(xí)技術(shù)的自然語言處理模型隔盛。它基于Transformer架構(gòu)犹菱，通過大量文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練拾稳，能夠理解和生成類似人類的文本吮炕。
歷程：
GPT-1，GPT-2访得，GPT-3龙亲，GPT-3.5,GPT-4,GPT-4o
使用方式：
a.) 進(jìn)入官網(wǎng)ChatGPT頁面陕凹，直接進(jìn)行交互；
b.) 通過OpenAI提供的開放API接口調(diào)用
c.) 使用第三方提供的服務(wù)（封裝了OpenAI的API接口）
Meta LLaMA
LLaMA 也是建立在 Transformer 基礎(chǔ)架構(gòu)上的自回歸語言模型鳄炉，采用了先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)和生成對(duì)抗網(wǎng)絡(luò)（GAN）技術(shù)杜耙，展現(xiàn)出在自然語言處理（NLP）和文本生成方面的卓越性能。模型還具備多模態(tài)AI能力拂盯，能夠處理圖像和文本等多種數(shù)據(jù)形式佑女。
歷程:
Llama 1,Llama 2,Llama 3,Llama 3.1
使用方式：
a.) 使用Meta官方提供的開放API接口；
b.) 通過第三方平臺(tái)使用（如Hugging Face）谈竿；
c.) 自建環(huán)境团驱，下載 LLaMA 的模型文件并運(yùn)行該模型；
其他相關(guān)鏈接：
LLaMA2 - 開源（https://github.com/facebookresearch/llama）
LLaMA3 - 開源（https://github.com/meta-llama/llama3）
xAI Grok
https://github.com/xai-org/grok-1
Grok模型雖然具體的技術(shù)細(xì)節(jié)可能沒有完全公開空凸，但可以推測(cè) Grok 使用了類似于其他大型語言模型的技術(shù)基礎(chǔ)嚎花，結(jié)合了深度學(xué)習(xí)和大規(guī)模數(shù)據(jù)訓(xùn)練,其以先進(jìn)的推理能力而聞名，旨在理解和生成自然語言呀洲，同時(shí)處理包括文本紊选、圖像和聲音在內(nèi)的多模態(tài)輸入。
歷程：
Grok-1,Grok-1.5V,Grok-2,Grok-2 mini
使用方式：
a.) 訂閱 X 平臺(tái)的 Premium 或 Premium + 服務(wù),即可在X平臺(tái)上與 Grok 進(jìn)行交互道逗，輸入問題并獲取回答;
b.) 自建環(huán)境兵罢，下載Grok的模型文件并運(yùn)行該模型；
其他相關(guān)鏈接：
Grok-1 - 開源（https://github.com/xai-org/grok-1)
Google Gemini
Google 的下一代 AI 項(xiàng)目憔辫，旨在處理各種復(fù)雜的任務(wù)趣些，從文本理解到圖像和視頻分析，再到編程和數(shù)學(xué)問題解決;
歷程：
Gemini 1.0, Gemini 1.5, Gemini 1.5 Pro, Gemini 1.5 Flash
使用方式：
a.) 訪問 Google Bard 網(wǎng)站(https://bard.google.com/)
b.) 使用Google官方提供的開放API接口贰您；
c.) 在 Google Workspace 中使用(訂閱 Google One AI Premium 計(jì)劃)
Mistral AI Codestral
https://docs.mistral.ai/capabilities/code_generation/
大型編程語言模型坏平，Mistral AI 開發(fā)，是一個(gè)專門用于代碼生成的 22B 參數(shù)模型锦亦，支持 80 多種編程語言舶替，專為提高軟件開發(fā)效率而設(shè)計(jì)；Codestral 采用了 “非生產(chǎn)”（non-production）許可協(xié)議杠园，僅限于研究用途顾瞪，不得用于商業(yè)目的。
使用方式：
a.) 通過訪問Mistral AI 的在線聊天界面(https://chat.mistral.ai/chat)來使用;
b.) 在開發(fā)環(huán)境中使用(安裝 Continue.dev 或 TabNine 等插件,選擇 Codestral 作為代碼補(bǔ)全或交互的模型)
c.) 通過第三方平臺(tái)使用（如Hugging Face）
其他相關(guān)鏈接：
https://chat.mistral.ai/chat/
Codestral - 開源（https://huggingface.co/mistralai/Codestral-22B-v0.1）
國(guó)內(nèi)的一些大模型
Kimi
https://kimi.moonshot.cn/chat/crfb394ubmsandu0ibs0
月之暗面（moonshotai）公司研發(fā)推出的一款人工智能助手產(chǎn)品抛蚁；
使用方式：
a.) 使用Kimi 的官方網(wǎng)站（https://kimi.moonshot.cn/chat）
b.) 使用微信小程序 “Kimi智能助手”
c.) 瀏覽器安裝Kimi 的插件
豆包大模型
是由字節(jié)跳動(dòng)公司自研的人工智能大模型陈醒，提供的是一個(gè)有多模態(tài)能力的模型家族；
發(fā)展歷程：
云雀瞧甩， 豆包
使用方式：
a.) 使用官方網(wǎng)站(https://www.doubao.com/chat)
b.) 通過字節(jié)跳動(dòng)的開發(fā)者平臺(tái)使用API（火山引擎）
c.) 使用扣子平臺(tái)钉跷，構(gòu)建Bot
其他關(guān)聯(lián)信息：
火山引擎 （https://www.volcengine.com/）
火山方舟（https://www.volcengine.com/product/ark）
扣子平臺(tái)（https://www.volcengine.com/product/coze-pro）
https://www.volcengine.com/product/doubao
騰訊混元大模型
由騰訊研發(fā)的大語言模型，具有強(qiáng)大的中文處理能力肚逸、邏輯推理能力以及任務(wù)執(zhí)行能力爷辙。
使用方式：
a.) 使用官方網(wǎng)站 (https://yuanbao.tencent.com/chat)
b.) 通過騰訊的開發(fā)者平臺(tái)使用API
c.) 使用微信小程序“騰訊混元助手”
d.) 自建環(huán)境彬坏，下載混元大模型并運(yùn)行該模型（https://github.com/Tencent/HunyuanDiT）；
e.) 通過騰訊元器構(gòu)建應(yīng)用(https://yuanqi.tencent.com/agent-shop)
其他關(guān)聯(lián)信息：
混元大模型 - 開源 （https://github.com/Tencent/HunyuanDiT）
騰訊元器（https://yuanqi.tencent.com/agent-shop）
https://cloud.tencent.com/product/hunyuan
訊飛火星大模型
由科大訊飛推出的一款新一代認(rèn)知智能大模型膝晾，具備跨領(lǐng)域的知識(shí)和語言理解能力栓始，能夠基于自然對(duì)話方式理解與執(zhí)行任務(wù)。
使用方式：
a.) 使用官方網(wǎng)站(https://xinghuo.xfyun.cn/)
b.) 通過官方的開發(fā)者平臺(tái)使用API
c.) 通過App使用血当，“訊飛星火” APP
d.) 自建環(huán)境幻赚，下載火星大模型并運(yùn)行該模型(https://gitee.com/iflytekopensource)
其他關(guān)聯(lián)信息：
https://xinghuo.xfyun.cn/openSource
火星大模型 - 開源 （https://gitee.com/iflytekopensource）
https://xinghuo.xfyun.cn/desk
阿里通義大模型
阿里巴巴集團(tuán)推出的一款人工智能語言模型，它基于深度學(xué)習(xí)和自然語言處理技術(shù)臊旭，具備強(qiáng)大的語義理解和生成能力坯屿。
使用方式：
a.) 使用官方網(wǎng)站 (https://qianwen.aliyun.com/)
b.) 通過App使用，“通義” APP
c.) 通過官方的平臺(tái)使用API(https://dashscope.console.aliyun.com)
d.) 自建環(huán)境巍扛，下載Qwen大模型并運(yùn)行該模型（https://github.com/QwenLM）
其他關(guān)聯(lián)信息：
平臺(tái)百煉 （https://www.aliyun.com/product/bailian）
Qwen2 - 開源 （https://github.com/QwenLM）
https://help.aliyun.com/zh/model-studio/developer-reference/what-is-qwen-llm?spm=a2c4g.11186623.0.i3
百度文心大模型
百度自主研發(fā)的產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型领跛，形成了基礎(chǔ)-任務(wù)-行業(yè)三級(jí)大模型體系，包括自然語言處理撤奸、視覺吠昭、跨模態(tài)等基礎(chǔ)大模型，對(duì)話胧瓜、跨語言矢棚、搜索、信息抽取等任務(wù)大模型府喳，生物計(jì)算領(lǐng)域大模型蒲肋，行業(yè)大模型，以及支撐大模型應(yīng)用的工具平臺(tái)
使用方式：
a.) 訪問文心大模型的官網(wǎng)(https://yiyan.baidu.com/)
b.) 通過官方的平臺(tái)使用API(https://qianfan.cloud.baidu.com/)
c.) 通過App使用钝满，文心一言APP
其他關(guān)聯(lián)信息：
千帆大模型平臺(tái) （https://qianfan.cloud.baidu.com/）
DeepSeek
DeepSeek AI 開發(fā)的 2360 億參數(shù)模型兜粘，專注于高效、經(jīng)濟(jì)弯蚜、易用的混合專家（MoE）語言模型
歷程：
DeepSeek 67b孔轴，DeepSeek-V2，DeepSeek-V2.5
使用方式：
a.) 訪問DeepSeek大模型的官網(wǎng)(https://platform.deepseek.com/)
b.) 通過官方的平臺(tái)使用API(https://platform.deepseek.com/api-docs/zh-cn/)
c.) 自建環(huán)境碎捺，下載DeepSeek-V2大模型并運(yùn)行該模型（https://github.com/deepseek-ai/DeepSeek-V2）
其他關(guān)聯(lián)信息：
DeepSeek-V2 - 開源（https://github.com/deepseek-ai/DeepSeek-V2）
智譜AI 智譜清言
智譜 AI 的 GLM 是一系列具有強(qiáng)大性能和廣泛應(yīng)用的人工智能語言模型路鹰，具有 90 億參數(shù)，支持多種語言和多模態(tài)輸入收厨。
歷程：
GLM-10B, GLM-130B, ChatGLM-6B, GLM-4
使用方式：
a.) 使用官方網(wǎng)站 (https://chatglm.cn/?lang=zh)
b.) 通過App使用晋柱，“智譜清言” APP
c.) 使用微信小程序“智譜清言”
d.) 通過官方的平臺(tái)使用API(https://bigmodel.cn/)
e.) 自建環(huán)境，下載GLM大模型并運(yùn)行該模型（https://github.com/THUDM/GLM-4）
其他關(guān)聯(lián)信息：
GLM-4 - 開源（https://github.com/THUDM/GLM-4）
ChatGLM-6B - 開源 （https://github.com/THUDM/ChatGLM-6B）
其他大模型
華為 盤古大模型 （華為云企業(yè)賬號(hào)才可申請(qǐng)?bào)w驗(yàn)權(quán)限）
商湯 日日新大模型
網(wǎng)易 商和大模型
百川智能 百川大模型
零一萬物科技 零一萬物大模型
稀宇科技 MiniMax大模型
IDEA 研究院 姜子牙大模型（從 Llama 的基礎(chǔ)上進(jìn)行改進(jìn)和訓(xùn)練）
BELLE大模型（基于斯坦福的 Alpaca 模型進(jìn)行了中文優(yōu)化和代碼修改）
元語智能 元語大模型
說在最后
初步了解LLMs時(shí)诵叁，就是借用了相關(guān)的大模型應(yīng)用的對(duì)話服務(wù)和搜索能力雁竞，不同應(yīng)用對(duì)于同一個(gè)問題的答復(fù)確實(shí)也存在比較大的差異（其中好壞的判斷有較強(qiáng)的主觀性，就不在公開日記中體現(xiàn)）黎休，奈何本人英語較差浓领，無法做更全面的體驗(yàn)；
