基于矩陣分解 快速簡(jiǎn)潔,但屬性信息與結(jié)構(gòu)信息的融合比較困難不脯。 1. Skip-Gram with Negative Sampling (SGNS) 損失函數(shù) 將中心詞與上下文...
基于矩陣分解 快速簡(jiǎn)潔,但屬性信息與結(jié)構(gòu)信息的融合比較困難不脯。 1. Skip-Gram with Negative Sampling (SGNS) 損失函數(shù) 將中心詞與上下文...
1. GCN 1.1 Laplace算子 Laplace算子特征函數(shù) -> Fourier變換 -> 卷積 Laplace矩陣L的特征向量 -> Fourier變換 -> 卷...
定義 優(yōu)化問(wèn)題:的解滿足如下條件該條件即KKT條件府怯。 解釋 無(wú)約束條件時(shí),局部極值點(diǎn)在梯度為0時(shí)取得防楷。例如牺丙,當(dāng)為局部極大值點(diǎn),則在任一方向移動(dòng)(一個(gè)任意小距離)時(shí)函數(shù)值應(yīng)不增...
在某一固定時(shí)段內(nèi)复局,事件發(fā)生次冲簿,即事件的期望值已知。將該時(shí)段無(wú)限細(xì)分亿昏,每一個(gè)內(nèi)都看做一個(gè)0-1事件峦剔,則在時(shí)段內(nèi),其發(fā)生k次的概率為 比如角钩,一個(gè)醫(yī)院一天出生8個(gè)嬰兒羊异,那一天出生k...
1. 函數(shù)內(nèi)積 將函數(shù)在其定義域中,按切分后彤断,看做無(wú)限維的向量(希爾伯特空間)野舶。則其模平方為參照有限維度向量?jī)?nèi)積的定義,函數(shù)內(nèi)積定義為 內(nèi)積定義的推導(dǎo) 通過(guò)向量到向量的投影垂...
基礎(chǔ)準(zhǔn)備 1.定比分點(diǎn)公式 點(diǎn)為上一點(diǎn)宰衙,則設(shè)平道,則 證明: 2.凸函數(shù)性質(zhì) 設(shè),為凸函數(shù)供炼,則 3.markov不等式 證明: Hoeffding 不等式 取隨機(jī)變量一屋,令。若滿足...
一袋哼、DF轉(zhuǎn)換器 Transformer:SparkML中有很多直接對(duì)DF進(jìn)行變換的類冀墨,如TF-IDF,PCA等涛贯,它們統(tǒng)稱Transformer诽嘉;子類主要需要實(shí)現(xiàn)_transf...
1.定義 假設(shè)只有三種編輯方式:插入,刪除弟翘,替換虫腋。每種編輯方式對(duì)應(yīng)一次操作。按規(guī)定的編輯方式稀余,將原始字符串變換到目標(biāo)字符串所需的最少操作次數(shù)悦冀,被稱為最小編輯距離。Levens...
ERM 真實(shí)損失定義為總體分布睛琳,為真實(shí)標(biāo)簽函數(shù)盒蟆,為標(biāo)簽函數(shù)踏烙,也叫模型或分類器。為在總體分布和真實(shí)標(biāo)簽函數(shù)分別為D和f時(shí)h所對(duì)應(yīng)的誤差历等,也叫做真實(shí)損失宙帝。其公式為 經(jīng)驗(yàn)損失抽取個(gè)...
一、矩陣求導(dǎo) 矩陣求導(dǎo)就是對(duì)內(nèi)部每一項(xiàng)求導(dǎo) 募闲, 矩陣的跡有如下性質(zhì): 因而可推出如下性質(zhì):設(shè) 步脓,相當(dāng)于分別對(duì)和取偏導(dǎo)后相加 ,分子為標(biāo)量可看做矩陣的跡 二浩螺、最小二乘法 已知為...
一靴患、信息熵(information entropy) 不確定性設(shè)是不確定性的度量,則需滿足a. 是概率的減函數(shù)要出,且非負(fù)b. 獨(dú)立事件間具有可加性:可知鸳君,滿足以上條件,可作為不...
1. ogrid 調(diào)取方式如下 np.ogrid可以有多個(gè)切片索引患蹂,結(jié)果也對(duì)應(yīng)多個(gè)或颊。結(jié)果產(chǎn)生邏輯為 統(tǒng)一維度總數(shù),如上X與Y均變?yōu)?維传于; 令第n個(gè)結(jié)果的值按照第n個(gè)切片索引可...
中心極限定理 設(shè)獨(dú)立同分布囱挑,期望為,標(biāo)準(zhǔn)差為沼溜,隨機(jī)變量的分布函數(shù)為即平挑,服從正態(tài)分布,其概率密度函數(shù)為 證明:不妨設(shè)的概率密度為系草,令通熄,這里可求出的概率密度,暫設(shè)為則找都,由下面第一...
一唇辨、均勻隨機(jī)數(shù)生成算法 平方取中法將2s位十進(jìn)制數(shù)字平方后取中間的2s位數(shù)字:但其長(zhǎng)度較短且均勻性較差,針對(duì)性的改進(jìn)方法是乘積取中法:但是隨機(jī)數(shù)長(zhǎng)度仍然不夠能耻,且對(duì)初值依賴比較...
一赏枚、Wallis公式 通常根據(jù)的積分遞推性及其關(guān)于n的單調(diào)性應(yīng)用極限夾逼準(zhǔn)則推導(dǎo)出。 令從而有嚎京,即由得根據(jù)的單調(diào)性可知整理為由極限夾逼準(zhǔn)則可得出 二嗡贺、的單調(diào)性 對(duì)于隐解,當(dāng)時(shí)鞍帝,為...
數(shù)據(jù)分析中,我們常常會(huì)統(tǒng)計(jì)數(shù)據(jù)的平均增長(zhǎng)率或平均下降率煞茫。事實(shí)上帕涌,我們可以通過(guò)指數(shù)擬合來(lái)得到上升比率或下降比率摄凡。 如圖,針對(duì)不斷下降的月度數(shù)據(jù)蚓曼,我們制作一個(gè)指數(shù)擬合曲線: 圖中...
記: 梯度下降算法 系數(shù)更新公式為:不妨設(shè)亲澡,且損失函數(shù)為:則梯度為:對(duì)于BGD,n為全體數(shù)據(jù)量纫版;對(duì)于SGD床绪,n為1;對(duì)于MGD其弊,n為批量大小m癞己。 牛頓二階梯度優(yōu)化法的推導(dǎo) 在...