發(fā)簡信
IP屬地：浙江
-
【Sanjeev Arora 】On the ability of neural nets to express distributions
【Sanjeev Arora 】On the ability of neural nets to express distributions 給...
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第三課
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第三課 重參數(shù)化 在前饋網(wǎng)絡(luò)的最后一步驟想對loss 函數(shù)求導(dǎo)數(shù)，但是可能這個(gè)loss也是帶有參數(shù)的娶靡， 這時(shí)候?qū)@個(gè)θ求導(dǎo)...
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第二課機(jī)器學(xué)習(xí)中的優(yōu)化算法 第二課 算法收斂的速度: 序列誤差為 如果復(fù)合下面的關(guān)系敷鸦，就稱作是Q線性的： 如果r=1仰猖，C在0，1之間，那么就是線性栈顷。C...
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第一課
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第一課 如果一個(gè)人的論文中的formulation不嚴(yán)謹(jǐn)，那么他的理論部分基本可以不看嵌巷。 優(yōu)化問題的一般formulati...
-
【ZC Lin】Optimization Algorithm Inspired Deep Neural Network Structure Design
這篇文章的目的是揭示優(yōu)化和網(wǎng)絡(luò)設(shè)計(jì)之間的關(guān)系萄凤，提出了個(gè)猜想更快的優(yōu)化方法可以inspire更好的網(wǎng)絡(luò)結(jié)構(gòu)。以此我們可以用優(yōu)化的結(jié)構(gòu)去啟發(fā)地生成更...
-
【JF Lu】 Deep Network Approximation for Smooth Functions目標(biāo)是用Relu網(wǎng)絡(luò)去逼近更加光滑的函數(shù)空間搪哪，在范數(shù)的意義下靡努。 定理1.1簡單而言是說：可以用寬度深度的Relu FNN去接近，而且接近誤差是：...
-
Concentration 不等式（一）
因?yàn)槌３Ｐ枰离S機(jī)變量晓折，以及他們的和偏離均值的情況惑朦，所以需要一系列集中不等式。 在集中不等式中有兩種思路漓概，一種是矩法漾月，可以得到包括Markov...
-
有界隨機(jī)變量是Sub-Gaussian定理：是一個(gè)隨機(jī)變量，而且胃珍，設(shè)梁肿，蜓陌，我們證明是一個(gè)次高斯隨機(jī)變量而且有次高斯系數(shù)，也就是說： 證明：我們設(shè), 容易計(jì)算得到： 其中 ...
-
Poisson tails估計(jì)
HDP 20,21 利用Poisson極限定理： 并且結(jié)合Chernoff不等式就知道 如果栈雳，那么當(dāng)?shù)臅r(shí)候 這個(gè)bound是sharp的护奈，因?yàn)楦?..