近期對(duì)BERT系列綜述了一番闯第，但記得以前剛接觸BERT的時(shí)候有很多疑問(wèn)烤惊，之后通過(guò)看博客账嚎、論文陸續(xù)弄明白了略荡。這次就以QA的形式將關(guān)于BERT的疑問(wèn)及其相應(yīng)解答分享給大家褐捻，不足之...
發(fā)簡(jiǎn)信
IP屬地：北京
-
BERT面試8問(wèn)8答
-
BiLSTM-CRF Models for Sequence Tagging（翻譯）Abstract（摘要） ??在本文中蹬叭，我們?yōu)樾蛄袠?biāo)注任務(wù)提出了一系列基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò) (LSTM)的模型乡摹。這些模型包括 LSTM 網(wǎng)絡(luò)预明，BI-LSTM 網(wǎng)絡(luò)缩赛，帶有條件隨機(jī)...
-
學(xué)習(xí)筆記-n-gram中的平滑方法在n-gram語(yǔ)言模型中，一些詞語(yǔ)的組合沒(méi)有在語(yǔ)料中出現(xiàn)過(guò)撰糠，所以其統(tǒng)計(jì)概率會(huì)為0酥馍，但是這是不合理的。所以需要使用平滑方式調(diào)整概率值阅酪。平滑的基本思想是降低高概率值旨袒，提高低概率值...
-
glove-論文閱讀
glove全稱是Global Vectors for Word Representation，它是基于全局詞頻統(tǒng)計(jì)的詞表征工具术辐，他可以將一個(gè)單詞表示為一個(gè)向量砚尽，這些向量捕捉到...
-
學(xué)習(xí)筆記-word2vec在nlp的世界里，詞向量占據(jù)了重要的位置辉词，它分布式的表示了單詞的語(yǔ)義信息必孤，大幅度的提升了下游任務(wù)的效果。 Word2vec根據(jù)預(yù)測(cè)詞的方式包括兩種模型瑞躺，skip gram是使...
-
學(xué)習(xí)筆記-簡(jiǎn)單概念記錄語(yǔ)言模型：衡量一句話是句子的概率假設(shè)有句子,根據(jù)語(yǔ)言模型計(jì)算s的概率為通常還使用n-gram語(yǔ)言模型計(jì)算句子概率 1-gram語(yǔ)言模型(uni-gram model): 2-...
-
學(xué)習(xí)筆記-數(shù)據(jù)預(yù)處理看到一篇數(shù)據(jù)預(yù)處理很全面的文章敷搪，所以將鏈接貼了過(guò)來(lái) http://www.reibang.com/p/37e529c8baa9 對(duì)上述文章的補(bǔ)充 詞標(biāo)準(zhǔn)化的方式詞標(biāo)準(zhǔn)化 分...
-
CCF 疫情期間網(wǎng)民情緒識(shí)別 trick分享
多分類(lèi)問(wèn)題下面赡勘，我們經(jīng)常會(huì)遇到一些指標(biāo)嫂便，比如正在進(jìn)行的DF平臺(tái)上的比賽，疫情期間網(wǎng)民情緒識(shí)別闸与，用這個(gè)trick就能輕易地提分顽悼。i數(shù)據(jù)智能上面提到：如果多類(lèi)別不均衡的話，這時(shí)候...
-
XGBoost: A Scalable Tree Boosting System 閱讀筆記摘要 提升樹(shù)廣泛應(yīng)用于機(jī)器學(xué)習(xí)的各個(gè)領(lǐng)域几迄，在這篇論文中蔚龙，提出了一個(gè)新的提升樹(shù)方式。 1. 介紹 論文的創(chuàng)新點(diǎn)共一下四點(diǎn)： We design and build a high...
-
學(xué)習(xí)筆記-XGBOOSTXGBOOST是GBDT模型的升級(jí)版映胁，同樣也用到了adboosting的思想 一 預(yù)備知識(shí) XGBOOST是前向加法模型木羹，那么有公式：設(shè)表示第n棵樹(shù)的模型，那么就有所以第k次...
-
FromWord Embeddings To Document Distances-閱讀文本相似度是自然語(yǔ)言處理研究熱點(diǎn)之一解孙，論文提出了一種新的衡量文本相似度的方法坑填，Word Mover’s Distance (WMD)。此方法利用兩個(gè)文本的詞向量的距離來(lái)作為相...
-
學(xué)習(xí)筆記-隨機(jī)森林弛姜、提升樹(shù)脐瑰、GBDT在之前的章節(jié)里，學(xué)習(xí)了集成學(xué)習(xí)的兩個(gè)代表方式：bagging和boosting廷臼，現(xiàn)在來(lái)看如果將bagging和boosting運(yùn)用在決策樹(shù)中苍在。 隨機(jī)森林(random for...
-
Searching and Mining Trillions of Time Series Subsequences under Dynamic閱讀最近讀了SIGKDD在2010年的最佳論文，Searching and Mining Trillions of Time Series Subsequences under ...
-
學(xué)習(xí)筆記-決策樹(shù)決策樹(shù)是一種基本的分類(lèi)與回歸方法荠商。從名字上看寂恬，決策樹(shù)是一種樹(shù)形結(jié)構(gòu)，包括結(jié)點(diǎn)和邊莱没。結(jié)點(diǎn)分為內(nèi)部結(jié)點(diǎn)和葉結(jié)點(diǎn)初肉，內(nèi)部結(jié)點(diǎn)表示屬性或特征，葉結(jié)點(diǎn)表示結(jié)果饰躲。邊表示屬性或特征的取值牙咏。比...
-
學(xué)習(xí)筆記-集成模型
集成學(xué)習(xí)通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器來(lái)提高泛化性能。思想就是三個(gè)臭皮匠嘹裂，頂個(gè)諸葛亮妄壶。例如在分類(lèi)中， 將多個(gè)弱分類(lèi)器通過(guò)某種方式結(jié)合起來(lái)焦蘑，得到比弱分類(lèi)器的效果更好的效果盯拱。 bagg...
-
學(xué)習(xí)筆記-拉普拉斯先驗(yàn)與L1正則化和高斯先驗(yàn)與L2正則化
在之前的筆記中記錄了L1與L2正則化，現(xiàn)在我們來(lái)看為什么拉普拉斯先驗(yàn)等同于L1正則化例嘱，高斯先驗(yàn)等同于L2正則化狡逢。 拉普拉斯先驗(yàn)與L1正則化 拉普拉斯分布 拉普拉斯先驗(yàn)假設(shè)數(shù)據(jù)...
-
學(xué)習(xí)筆記-邏輯回歸邏輯回歸假設(shè)數(shù)據(jù)服從伯努利分布,通過(guò)極大化似然函數(shù)的方法，運(yùn)用梯度下降來(lái)求解參數(shù)拼卵，來(lái)達(dá)到將數(shù)據(jù)二分類(lèi)的目的奢浑。 模型 sigmod函數(shù)要想了解邏輯回歸的模型，先得了解sigmo...
-
學(xué)習(xí)筆記-L1與L2正則化當(dāng)模型過(guò)擬合時(shí)腋腮，我們常常使用正則化去減輕模型的復(fù)雜度雀彼。它主要在損失函數(shù)后添加正則項(xiàng)去約束模型。 L1與L2正則化 L1 norm :即寡，表示參數(shù)的范式徊哑。 L2 norm :, ...
