1趟章，Transformer最初來自論文<Attention is all you need>跪但，沒查官方中文譯名，最初的研究重點(diǎn)是翻譯任務(wù)
2房铭，Transformer主要適用于序列建模(Sequence Modeling)任務(wù)暮屡，以語音識別為例撤摸，Transformer接收一段說話內(nèi)容對應(yīng)的音頻作為輸入，然后輸出該音頻對應(yīng)的文本內(nèi)容栽惶。
3愁溜，Transformer已成為了自然語言處理領(lǐng)域絕對主流的網(wǎng)絡(luò)架構(gòu)，當(dāng)前大熱的GPT4外厂、LLaMA冕象、Claude、文心一言等大語言模型 (LLM)都以Transformer或者其變種作為主干架構(gòu)汁蝶。
4渐扮，大體上可分為三類,
回歸Transformer模型：GPT-like (also called?auto-regressive?Transformer models)
自動編碼Transformer模型：BERT-like (also called?auto-encoding?Transformer models)
序列to序列Transformer模型：BART/T5-like (also called?sequence-to-sequence?Transformer models)
5，原始Transformer是如何工作的：https://huggingface.co/learn/nlp-course/chapter1/4?fw=pt#transformers-are-language-models
6掖棉，HuggingFace transformers 中文文檔:https://github.com/liuzard/transformers_zh_docs
“我們沒有護(hù)城河墓律，OpenAI也沒有”
google研究員提出看法，核心觀點(diǎn)是幔亥，即使谷歌全力投入耻讽，可能也贏不了這場 AI 競賽。不僅谷歌贏不了帕棉，OpenAI 也贏不了针肥。
原因不是谷歌的能力不行，而是 AI 行業(yè)有一些特點(diǎn)香伴，導(dǎo)致這是一個完全競爭行業(yè)慰枕，"沒有護(hù)城河"，想要獲得領(lǐng)先優(yōu)勢和壟斷利潤即纲，極其困難具帮。
（1）生成式AI的核心技術(shù)是開源的，AI的架構(gòu)和原理都是公開的，不同的只是各家的實(shí)現(xiàn)蜂厅。
（2）AI 模型的替代性很強(qiáng)匪凡。模型之間的差異，目前來看不是決定性的葛峻。
（3）AI 的核心競爭力在于算力(依賴GPU和機(jī)房規(guī)模)和訓(xùn)練語料(自己收集)锹雏。兩者都取決于經(jīng)濟(jì)實(shí)力。
https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
