單節(jié)點(diǎn)全部卡：--master_port=25684 --num_gpus=4 單節(jié)點(diǎn)部分卡：--include localhost:1,2,3 注意：不能使用CUDA_VI...
IP屬地：北京
-
deepspeed指定GPU
-
權(quán)重衰退（weight decay）與暫退法（Dropout）模型的過擬合 將模型在訓(xùn)練數(shù)據(jù)上擬合的比在潛在分布中更接近的現(xiàn)象稱為過擬合（overfitting），出現(xiàn)這種現(xiàn)象的主要原因是訓(xùn)練數(shù)據(jù)中存在噪音或者訓(xùn)練數(shù)據(jù)太少。 可以看出在...
-
事件的關(guān)系：深入理解獨(dú)立性回顧條件概率：條件概率P(A|B)這個重要概念的核心就是刻畫了事件B的發(fā)生給事件A是否發(fā)生所帶來的額外信息 回顧事件獨(dú)立：在所有的條件概率情況當(dāng)中，我們注意到一個有趣且重要的...
-
BPE、WordPiece和SentencePiece1. 背景與基礎(chǔ) 在使用GPT BERT模型輸入詞語常常會先進(jìn)行tokenize 精盅，tokenize具體目標(biāo)與粒度是什么呢？tokenize也有許多類別及優(yōu)缺點(diǎn)，這篇文章總結(jié)...
-
零寬空格 U+200B 引發(fā)的問題及擴(kuò)展背景 是這樣的渔嚷，最近在寫一個微信公眾號的處理腳本，用來替換替換文章中的指定內(nèi)容稠曼。 上面的方法是腳本的一部分形病，用于獲取文章中指定字符串所在的 DOM 元素，思路是通過 Node...
-
Ubuntu20.04桌面版Xrdp遠(yuǎn)程桌面一霞幅、安裝桌面環(huán)境 Ubuntu 服務(wù)器通常使用命令行進(jìn)行管理漠吻，并且默認(rèn)沒有安裝桌面環(huán)境。如果你正在運(yùn)行 Ubuntu 桌面版司恳，忽略這一步途乃。 在 Ubuntu 源倉庫有很多桌面...
-
xshell連接ubuntu顯示桌面圖形xshell連接ubuntu顯示桌面圖形 首先本地要安裝好XShell和Xmanager軟件 Xshell連接的時候勾選上Xmanager 下載安裝gnome桌面工具 調(diào)用桌面
-
通俗講解pytorch中nn.Embedding原理及使用函數(shù)調(diào)用形式 其為一個簡單的存儲固定大小的詞典的嵌入向量的查找表，意思就是說扔傅，給一個編號耍共，嵌入層就能返回這個編號對應(yīng)的嵌入向量，嵌入向量反映了各個編號代表的符號之間的語義關(guān)系...
-
加載訓(xùn)練好的BERT參數(shù)
將預(yù)訓(xùn)練模型中的bert部分取出來加載上去 base_model = BaseModel(config)base_model_dict = base_model.state_...
-
Pytorch 之 forward函數(shù)在模型類定義的時候猎塞，定義forward函數(shù)试读，其中變量形式（self,x) 在使用Pytorch的時候，模型訓(xùn)練時荠耽，不需要調(diào)用forward函數(shù)钩骇，只需要在實(shí)例化一個對象中傳入對...
-
[激活函數(shù)]什么是 ReLU
參考資料：算法基礎(chǔ)---ReLU激活函數(shù)及其變種[https://blog.csdn.net/putiancaijunyu/article/details/86616304]...
-
解決訓(xùn)練模型每次結(jié)果不一樣
1.首先是初始化的時候，給權(quán)重矩陣 (以及 )的初始值不一樣。2.如果我們固定初始值倘屹，結(jié)果仍有可能不一樣银亲，原因在于大部分算法訓(xùn)練時使用的是mini-batch SGD，也就...
-
中文連接詞/關(guān)聯(lián)詞整理
漢語連接詞有哪些 由于本人工作中經(jīng)常要與咨詢?nèi)藛T交流唐瀑，期間發(fā)現(xiàn)在與這類人溝通時群凶，會讓人有一種心曠神怡的感覺。但限于本人愚鈍哄辣，一直未找到他們是如何使溝通變得如此輕松愉悅的请梢。最近...
-
Spring Security驗(yàn)證，用中文配置提示信息
關(guān)于Spring Security的使用力穗，之前也整理過一些筆記毅弧，但是在提示信息的時候，總感覺還缺點(diǎn)什么当窗？不管是不是前后端分離够坐，我們都希望在登錄驗(yàn)證出現(xiàn)錯誤的時候，能夠提示友好...
-
Word Embedding&word2vec最近新接觸文本分類問題巫员，對于我來數(shù)第一個問題就是Word Embedding這個詞到底是什么意思庶香，因此也就開始學(xué)習(xí)了相關(guān)知識http://licstar.net/archiv...
-
基于jieba、TfidfVectorizer简识、LogisticRegression的搜狐新聞文本分類學(xué)習(xí)資源來源：容大教育赶掖，致以誠摯的謝意。重新編輯：瀟灑坤 jieba中文叫做結(jié)巴七扰，是一款中文分詞工具奢赂，官方文檔鏈接：https://github.com/fxsjy/jieb...
-
一起學(xué)習(xí)正則表達(dá)式（六）正則匹配原理轉(zhuǎn)載請注明出處：http://www.reibang.com/p/5b3316b95fe6[http://www.reibang.com/p/5b3316b95fe6]本...
-
Ngram ppl 計(jì)算說明語言模型可以用于知道前個詞的情況下，預(yù)測第個詞的概率颈走。Perplexity(PPL) 用來衡量語言模型的好壞膳灶，越小越好。其物理意義可以近似理解為：有了語言模型后立由，預(yù)測的第個詞...