筆記匯總
- 機(jī)器理解世界從語(yǔ)言入手——The limits of my language mean the limits of my world.
- 具身智能：人的學(xué)習(xí)能力很大部分來(lái)源于身體的感知能力幽歼，所以嘗試讓機(jī)器也具身化
- Elon Musk：人類必須成為機(jī)器人才能避免被機(jī)器統(tǒng)治甸私。因此他鼓勵(lì)推進(jìn)腦機(jī)接口皇型，讓人類和機(jī)器互聯(lián)
- 人相較于其他物種弃鸦，之所以“成功”唬格，憑借的是多元智能
- 認(rèn)知智能：現(xiàn)在還需要人去校對(duì)機(jī)器是否準(zhǔn)確；突破點(diǎn)在于底層的限制喊积，比如材料學(xué)等技術(shù)瓶頸
一些重要基礎(chǔ)概念/認(rèn)知
Transformer架構(gòu)
Transformer架構(gòu)最主要解決的問題：
梯度消失乾吻、梯度爆炸绎签、并行計(jì)算效率低
- 自注意力機(jī)制：使得模型在處理序列數(shù)據(jù)時(shí)，每個(gè)位置的輸入直接和整個(gè)序列的其他位置產(chǎn)生聯(lián)系屈张，避免了長(zhǎng)距離依賴問題
- 殘差連接：在網(wǎng)絡(luò)層之間碳抄，梯度直接通過(guò)短路連接反向傳播
分布式假設(shè)
很重要的一個(gè)前提剖效，就是基于“分布式假設(shè)”：出現(xiàn)在相同上下文(context)下的詞意思應(yīng)該相近咒林。
所有學(xué)習(xí)word embedding的方法爷光，都是在用數(shù)學(xué)的方法建模詞和context之間的關(guān)系欢瞪。
RAG的“七宗罪”
RAG seven failure points
- missing content
- missed the top ranked content
- not in the context-consolidation strategy limitations
- not extracted
- wrong format
- incorrect specifity
- incomplete
Scaling Law
模型的最終性能主要與【計(jì)算量】、【模型參數(shù)量】骑祟、【數(shù)據(jù)大写纹蟆（token數(shù)）】相關(guān)贫贝，與具體結(jié)構(gòu)（層數(shù)稚晚、深度鸳劳、寬度）無(wú)關(guān)
一種推測(cè)思想：隨著模型大小赏廓、數(shù)據(jù)集大小和用于訓(xùn)練的計(jì)算浮點(diǎn)數(shù)的增加摸柄，模型的性能會(huì)提高
構(gòu)建AI應(yīng)用的五層基石理論
Seednapse AI創(chuàng)始人提出了構(gòu)建AI應(yīng)用的五層基石理論既忆，包括Models患雇、Prompt Templates苛吱、Chains又谋、Agent和Multi-Agent
兩次大的技術(shù)革命
- 01 ：圖形交互 【eg. Wins操作系統(tǒng)彰亥，Excel任斋，……】
- 02 ：自然語(yǔ)言交互 【ChatGPT瘟檩，……】
一些常見的NLP方法
TF-IDF
TF-IDF是一種統(tǒng)計(jì)方法：用以評(píng)估一個(gè)詞對(duì)于一篇文章的重要性
TF（Term Frequency)：
文章里該詞的數(shù)量/文章的總詞數(shù)
TF(word in a document)= Number of occurrences of that word in document / Number of words in documentIDF(Inverse Document Frequency)：
log(文章總數(shù)/包含該單詞的文章數(shù))
IDF(word in a corpus)=log(number of documents in the corpus / number of documents that include the word)
Tokenizers：Word2Vec 和 GLoVE
-
Word2vec：使用【神經(jīng)網(wǎng)絡(luò)】
包括兩部分：- CBOW（continuous bag of words）：通過(guò)上下文來(lái)預(yù)測(cè)目標(biāo)詞
- Skip-Gram：通過(guò)目標(biāo)詞來(lái)預(yù)測(cè)上下文
GLoVE：使用【共現(xiàn)概率矩陣】
共現(xiàn)：?jiǎn)卧~i出現(xiàn)在單詞j的上下文中（論文給的環(huán)境是以j為中心的左右10個(gè)單詞區(qū)間）
一些值得留意的其他模型
LaMda
Google推出的針對(duì)對(duì)話應(yīng)用的模型框架Sparrow
麻雀模型，生成多種回答讓用戶選擇最好的，基于用戶反饋訓(xùn)練對(duì)應(yīng)的Reward模型，用訓(xùn)練好的Reward模型再去優(yōu)化Sparrow的生成結(jié)果InstructGPT
在GPT3的基礎(chǔ)上微調(diào)埃脏，目的是訓(xùn)練一個(gè)為人類服務(wù)的通用的多任務(wù)模型text-davinci-002
Davinci的一個(gè)渲染模型
