綠寶書(shū)讀書(shū)筆記(Chapter 3)

Chapter 3 Calculus and Linear Algebra

Spend some time reviewing your college textbooks!

Limits and derivatives

derivative of $y = \ln {x^{\ln x}}$ ？
let $u = \ln y=\ln (\ln {x^{\ln x}})$
we have
$\frac{du}{dx} = \frac{d(\ln y)}{dx} = \frac{1}{y} \frac{dy}{dx} = \frac{d \ln (\ln {x^{\ln x}})}{d x} = \frac{1}{x}\ln (\ln x) + \ln x \times \frac{d \ln \ln x}{d x}$
$\frac{du}{dx}= \frac{1}{y} \frac{dy}{dx}= \frac{1}{x}\ln (\ln x) + \ln x \times \frac{1}{\ln x}\times \frac{1}{x}= \frac{1}{x}\ln (\ln x) + \frac{1}{x}$
$\frac{dy}{dx} = y \times [\frac{1}{x}\ln (\ln x) + \frac{1}{x}]=\frac{\ln x ^ {\ln x}}{x}[1 + \ln (\ln x)]$
Maximum and minimum
$e^\pi$ 和 $\pi^e$ 誰(shuí)更大？
構(gòu)造函數(shù) $f(x)=\frac{\ln x }{x}$ ，則 $f'(x) = \frac{1-\ln x}{x^2}$ 對(duì)于 $x>e$ 恒為負(fù)蛛株，單調(diào)減菱皆，于是有 $\frac{\ln e}{e} > \frac{\ln \pi}{\pi}$ 巨柒，整理得 $e^\pi > \pi^e$
另一種方法： $e^x > 1+x$ 智嚷，令 $x=\frac{\pi}{e}-1$ 代入得 $e^{\frac{\pi}{e}-1}>1 + \frac{\pi}{e}-1$ ，即 $e^{\frac{\pi}{e}}/e > {\pi}/{e}$ 评姨，于是 $e^{\frac{\pi}{e}}>\pi$ ，即 $e^\pi > \pi^e$
L'Hospital's rule
例題比較trivial萤晴，不寫(xiě)了

Integration

Basics of integration
1,
$d(uv) = udv + vdu$
$d(x\ln x) = (x\times 1/2)dx + \ln xdx$
$\int \ln x dx = \int d(x\ln x) -\int dx = x\ln x -x + C$
2,
$\sec'x = \sec x \tan x$
$\tan'x = \sec^2 x$
so $\frac{d\ln|\sec x + \tan x|}{dx} = \sec x$
applications of integration
1,
兩個(gè)半徑為 $1$ 的圓柱十字交叉吐句，求重疊部分體積。
$V = 2\times \int_0^r [(2r)^2-(2z)^2]dz=16/3r^3=16/3$
2,
0點(diǎn)之前開(kāi)始均勻下雪店读，鏟雪機(jī)每分鐘鏟雪體積恒定蕴侧。1小時(shí)鏟了2公里，3小時(shí)鏟了三公里两入，問(wèn)什么時(shí)候開(kāi)始下的雪净宵？
設(shè)在0點(diǎn)之前T時(shí)開(kāi)始下雪，則 $\int_0^1 \frac{C}{T+t} dt = 2$ 裹纳， $\int_0^2 \frac{C}{T+t} dt = 3$
消去C择葡，有 $(\frac{1+T}{T})^3 = (\frac{2+T}{T})^2$ 解出 $T = \frac{\sqrt 5 -1}{2}$
expected value using integration
$X \sim N(0, 1)$ ，then $E[X|X>0] = \int_0 ^\infty xf(x)dx = \int_0 ^\infty x\frac{1}{\sqrt {2\pi}} e^{-1/2x^2}dx=\int_{-\infty} ^0 - \frac{1}{\sqrt{2\pi}}e^u du = \frac{1}{\sqrt{2\pi}}$

Partial Derivatives and Multiple Integrals

Calculate
$\int_{-\infty}^{\infty} e^{-x^2/2}dx \int_{-\infty}^{\infty} e^{-y^2/2}dy = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} e^{-(x^2 + y^2)/2}dxdy = \int_0^\infty \int_o^{2\pi}e^{-(r^2\cos^2\theta+r^2\sin^2\theta)/2}rdrd\theta$
$=\int_0^\infty \int_0^{2\pi} e^{-r^2/2}rdrd\theta = -\int_0^\infty e^{-r^2/2}d(-\frac{r^2}{2})\int_0^{2\pi}d\theta =2\pi$
由 $x,y$ 對(duì)稱(chēng)性可知剃氧， $\int _{-\infty} ^{\infty} e^{-x^2/2}dx =\sqrt{2\pi}$ 敏储，于是 $\int _0 ^{\infty} e^{-x^2/2}dx =\sqrt{\frac{\pi}{2}}$

Important Calculus Methods

Tayler's series
$f(x) = f(x_0)+f'(x_0)(x-x_0) + \frac{f''(x_0)}{2!}(x-x_0)^2+...+\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n+...$
A
計(jì)算 $i^i$ ：歐拉方程是這么證的：將 $e^i\theta, \cos\theta,i\sin\theta$ 全部泰勒展開(kāi)，自然可以得出 $e^{i\theta}=\cos\theta + i\sin\theta$ 朋鞍，然后令 $\theta = \pi/2$ 得到 $e^{1\pi/2} = i$ 已添，于是 $\ln i = i\pi/2$ 妥箕，于是 $\ln(i^i)=i\ln i=i(i\pi/2)=-\pi/2$ ，所以 $i^i = e^{-\pi/2}$
B
證明 $(1+x)^n \geq1+nx$ for all $x>-1, n\geq2$
對(duì) $f(x)=(1+x)^n$ 在 $x_0=0$ 處進(jìn)行泰勒展開(kāi)即可更舞，能發(fā)現(xiàn)前兩項(xiàng)就是 $1+nx$ 畦幢，余項(xiàng)為正，得證
Newton's method
A
$x_{n+1}=x_n - \frac{f(x_n)}{f'(x_n)}$ 牛頓迭代
解方程 $x^2=37$ 缆蝉，先給出 $f(x)=x^2-37$ 宇葱，猜測(cè) $x_0=6$ 然后 $x_1=x_0 -\frac{f(x_0)}{f'(x_0)}=6-\frac{6^2 - 37}{2\times 6} = 6.083$
或者對(duì) $f(x)=\sqrt x$ 在 $x=36$ 處泰勒展開(kāi)， $f(37)\approx f(36)+f'(36)(37-36)=6.083$
再或者 $(6+y)^2 = 37刊头，y^2+12y-1=0$ 黍瞧，忽略二階項(xiàng)，即 $12y-1=0$ 原杂， $y = 0.083$
B
求根的數(shù)值方法印颤？
Bisection method： $f(\frac{a_n + b_n}{2})$ ，
Newton's method： $x_{n+1}=x_n - \frac{f(x_n)}{f'(x_n)}$ 穿肄，
Secant method： $x_{n+1}=x_n - \frac{x_n - x_{n-1}}{f(x_n)-f(x_{n-1})}f(x_n)$ 膀哲，即用線(xiàn)性近似來(lái)代替牛頓法中的求導(dǎo)，對(duì)于不容易取得導(dǎo)函數(shù)的形式很有用被碗。
Lagrange multipliers
函數(shù) $f(x_1, x_2,...x_n)$ 約束條件
$g_1((x_1, x_2,...x_n), g_2((x_1, x_2,...x_n),...g_k((x_1, x_2,...x_n)$
取乘數(shù) $\lambda_1,\lambda_2,...\lambda_k$
列k個(gè)方程 $\nabla_{x_i} f(x) + \lambda_i \nabla_{x_i} g_i(x)=0$
可以解出極值點(diǎn)的 $x_1,x_2,...x_n$ 和 $\lambda$

Ordinary differential equations

Separable differential aquations
$\frac{dy}{dx}=g(x)h(y)$
$\int \frac{dy}{h(y)}=\int g(x)dx$
例題： $y'=\frac{x-y}{x+y}$
let $y = z - x$ 某宪，代入原方程可解出 $\int zdz = \int 2xdx + C$
First-order linear differential equations
$\frac{dy}{dx}+P(x)y=Q(x)$
思路：Integrating factor $I(x)=e^{\int P(x)dx}$ so that $\frac{dI(x)}{dx}=I(x)P(x)$
we have $IQ=I(y'+Py)=Iy'+IPy=Iy'+I'y=(Iy)'$
then $y = \frac{\int I(x)Q(x)dx}{I(x)}$

又有了那種小學(xué)六年級(jí)突然學(xué)會(huì)乘法的感覺(jué)

例題：
$y' + \frac{y}{x}=\frac{1}{x^2}$ ， $y(1)=1, x>0$
solution： $P(x)=1/x, Q(x)=1/x^2$
so $I(x)=e^{\int P(x)dx}=e^{\ln x}=x$
$I(x)Q(x)=1/x$
$y=\frac{\int I(x)Q(x)dx}{I(x)}=\frac{\int (1/x)dx}{x}=\frac{\ln x + C}{x}$
for $y(1)=1, x>0$ , we have $C=1$

Homogeneous linear equations 齊次線(xiàn)性方程
$a(x)\frac{d^2y}{dx^2}+b(x)\frac{dy}{dx}+c(x)=0$
如果 $y_1,y_2$ 是線(xiàn)性無(wú)關(guān)的兩個(gè)解锐朴，那么任意的 $y(x)=c_1y_1(x)+c_2y_2(x)$ 都是它的解兴喂。
解方程 $ar^2+br+c=0$ ，如果：

$r_1,r_2$ 都是實(shí)數(shù)焚志， $r_1\ne r_2$ 那么通解 $y=c_1e^{r_1x}+c_2e^{r_2x}$
$r_1,r_2$ 都是實(shí)數(shù)衣迷， $r_1= r_2$ 那么通解 $y=c_1e^{rx}+c_2xe^{rx}$
$r_1,r_2$ 是復(fù)數(shù) $\alpha \pm i\beta$ 那么通解 $y=e^{\alpha x}(c_1\cos\beta x+c_2\sin\beta x)$

Nonhomogeneous linear equations
$a(x)\frac{d^2y}{dx^2}+b(x)\frac{dy}{dx}+c(x)=d(x)$
思路：找到一個(gè)特解 $y_p(x)$ 滿(mǎn)足 $a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+c=d$ ，找到一個(gè)通解 $y_g(x)$ 滿(mǎn)足 $a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+c=0$ 則原方程的通解 $y=y_g+y_p$

Linear Algebra

Vectors: $n\times 1$ column, array
Inner product/ dot product
Euclidean norm
$||x||=\sqrt{\sum_{i=1}^n x_i^2}=\sqrt{x^T x}$
$||x-y||=\sqrt{(x-y)^T(x-y)}$
$\cos \theta=\frac{x^Ty}{||x||||y||}$
兩個(gè)向量的相關(guān)系數(shù) $\rho = \cos \theta$
QR decomposition
將矩陣分解成一個(gè)正規(guī)正交矩陣Q與上三角形矩陣R酱酬。
例題：linear least squares regression線(xiàn)性最小二乘法回歸擬合using matrices
$y_i=\beta_0 x_{i,0}+\beta_1 x_{i,1}+...+\beta_{p-i}x_{i,p-i}+\epsilon _i$ 壶谒，對(duì)全部 $i=1,...,n$ ，
攔截項(xiàng) $x_{i,0}$ 恒等于 $1$
外部項(xiàng) $x_{i,1},...,x_{i,p-1}$
現(xiàn)在要找到一組 $\beta = [\beta_0,\beta_1,...,\beta_{p-1}]^T$
使得 $\sum_{i=1}^n\epsilon_i^2$ 最小
取 $n\times1$ 的列向量 $Y=[Y_1,Y_2,...,Y_n]^T$ 和 $\epsilon=[\epsilon_1,\epsilon_2,...,\epsilon_n]^T$
$n\times p$ 矩陣 $X$ 膳沽，使得 $Y=X\beta + \epsilon$ 則：
$\min_\beta \sum_{i=1}^n\epsilon_i^2=\min_\beta(Y-X\beta)^T(Y-X\beta)$
取 $f(\beta)=\beta(Y-X\beta)^T(Y-X\beta)$
令 $f'(\beta)=0$ 則 $(X^TX)\beta=X^TY$
化成了 $A\beta=b$ 的形式汗菜，有 $\beta = (X^TX)^{-1}X^TY$
這件事的前提：

X和Y有線(xiàn)性關(guān)系 $Y=X\beta + \epsilon$
期望 $E[\epsilon_i]=0$
方差為常數(shù) $var(\epsilon_i)=\sigma^2$ ，非相關(guān)誤差 $E[\epsilon_i \epsilon_j]=0, i\ne j$
no perfect multicollinearity 不是完美的多重共線(xiàn)性問(wèn)題： $\rho (x_i,x_j)\ne \pm 1, i\ne j$ 其中 $\rho$ 是回歸相關(guān)系數(shù)
$\epsilon$ 和 $x_i$ 彼此獨(dú)立

Determinant, eigenvalue and eigenvector
行列式 $\mathrm{det}(A)$ 挑社，特征值 $\lambda$ 陨界，特征向量 $x$
$\mathrm{det}(A^T)=\mathrm{det}(A),\mathrm{det}(AB)=\mathrm{det}(A)\mathrm{det}(B),\mathrm{det}(A^{-1})=\frac{1}{\mathrm{det}(A)}$
矩陣特征方程 $\mathrm{det}(A-\lambda I)=0$ 的實(shí)根即為矩陣的特征值。
$\mathrm{det}A = \lambda_1 \lambda_2 ...\lambda_n$ 痛阻， $\sum_{i=1}^n \lambda_i = \mathrm{trace}(A)$
可對(duì)角化矩陣菌瘪，當(dāng)且僅當(dāng)各個(gè)特征值線(xiàn)性無(wú)關(guān)。各個(gè)特征值即為對(duì)角矩陣的每一項(xiàng)阱当。
Positive semidefinite/definite matrix 半正定/正定矩陣
正定矩陣：

$x^TAx>0$ 對(duì)所有非負(fù) $n\times 1$ 向量
所有特征值都為正
all the upper left (or lower right) submatrics $A_K俏扩，K=1,...,n$ have positive determinants
半正定矩陣：
$x^TAx>0$ 對(duì)所有 $n\times 1$ 向量
所有特征值非負(fù)
all the upper left (or lower right) submatrics $A_K糜工，K=1,...,n$ have non-negative determinants
例題：xyz三個(gè)向量，xy相關(guān)系數(shù)0.8录淡，xz相關(guān)系數(shù)0.8捌木，求yz相關(guān)系數(shù)范圍？

構(gòu)建如上矩陣赁咙，算出行列式為 $\mathrm{det(P)}=-\rho^2+1.28\rho-0.28$ ，令其大于零免钻，解不等式即可彼水。

LU decomposition and Cholesky decomposition
非奇異的 $n\times n$ 矩陣
LU: lower and upper triangular matrix
$A=LU$
可以解線(xiàn)性方程 $Ax=b$ ，
$LUx=b, Ux=y,Ly=b$
和計(jì)算A的行列式极舔。
$\mathrm{det}(A)=\mathrm{det}(L)\mathrm{det}(U)=\Pi_{i=1}^nL_{i,i} \Pi_{j=1}^nU_{j,j}$ ,
Cholesky 分解是把一個(gè)對(duì)稱(chēng)正定的矩陣表示成一個(gè)下三角矩陣L和其轉(zhuǎn)置的乘積的分解凤覆。它要求矩陣的所有特征值必須大于零，故分解的下三角的對(duì)角元也大于零拆魏。Cholesky分解法又稱(chēng)平方根法盯桦，是當(dāng)A為實(shí)對(duì)稱(chēng)正定矩陣時(shí)，LU三角分解法的變形渤刃。

Cholesky decomposition is useful in Monte Carlo simulation to generate correlated random variables

舉個(gè)例子：
two $N(0,1)$ random variables $x_1,x_2$ with a correlation $\rho$ can be generated from independent $N(0,1)$ random variables $z_1,z_2$ using:
$x_1=z_1, x_2=\rho z_1 + \sqrt{1-\rho^2}z_2$
推廣到n維拥峦， $X=[X_1,X_2,...,X_n]^T \sim N(\mu,\Sigma)$ 其中mean $\mu=[\mu_1,\mu_2,...\mu_n]^T$ ，協(xié)方差矩陣 $\Sigma$ 可以分解成 $\Sigma=R^TR$ 卖子，這樣就有 $Z=[z_1,z_2,...,z_n]^T$ 其中 $z_i$ 都是彼此無(wú)關(guān)的隨機(jī)數(shù)略号，服從 $N(0,1)$ 分布。這樣可以生成一組 $X=\mu+R^TZ$ 使得 $X\sim N(\mu,\Sigma)$

singular value decomposition(SVD)
對(duì)于 $n\times p$ 的 $X$ 洋闽，有奇異值分解 $X=UDV^T$ 玄柠。也能用來(lái)生成上面的相關(guān)隨機(jī)數(shù)。

最后編輯于：2019.05.24 21:41:23

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末诫舅，一起剝皮案震驚了整個(gè)濱河市羽利，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌刊懈，老刑警劉巖这弧，帶你破解...
沈念sama閱讀 211,042評(píng)論 6贊 490
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異虚汛，居然都是意外死亡当宴，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 89,996評(píng)論 2贊 384
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)泽疆，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)户矢，“玉大人，你說(shuō)我怎么就攤上這事殉疼√堇耍” “怎么了捌年？”我有些...
開(kāi)封第一講書(shū)人閱讀 156,674評(píng)論 0贊 345
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵，是天一觀(guān)的道長(zhǎng)挂洛。經(jīng)常有香客問(wèn)我礼预，道長(zhǎng)，這世上最難降的妖魔是什么虏劲？我笑而不...
開(kāi)封第一講書(shū)人閱讀 56,340評(píng)論 1贊 283
?港島之戀（遺憾婚禮）
正文為了忘掉前任托酸，我火速辦了婚禮，結(jié)果婚禮上柒巫，老公的妹妹穿的比我還像新娘励堡。我一直安慰自己，他們只是感情好堡掏，可當(dāng)我...
茶點(diǎn)故事閱讀 65,404評(píng)論 5贊 384
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布应结。她就那樣靜靜地躺著，像睡著了一般泉唁。火紅的嫁衣襯著肌膚如雪鹅龄。梳的紋絲不亂的頭發(fā)上，一...
開(kāi)封第一講書(shū)人閱讀 49,749評(píng)論 1贊 289
城市分裂傳說(shuō)
那天亭畜，我揣著相機(jī)與錄音扮休，去河邊找鬼。笑死拴鸵，一個(gè)胖子當(dāng)著我的面吹牛肛炮，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播宝踪，決...
沈念sama閱讀 38,902評(píng)論 3贊 405
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼侨糟，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了瘩燥？” 一聲冷哼從身側(cè)響起秕重，我...
開(kāi)封第一講書(shū)人閱讀 37,662評(píng)論 0贊 266
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎厉膀，沒(méi)想到半個(gè)月后溶耘，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 44,110評(píng)論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡服鹅，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,451評(píng)論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年凳兵，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片企软。...
茶點(diǎn)故事閱讀 38,577評(píng)論 1贊 340
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡庐扫，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情形庭，我是刑警寧澤铅辞，帶...
沈念sama閱讀 34,258評(píng)論 4贊 328
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站萨醒，受9級(jí)特大地震影響斟珊，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜富纸，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,848評(píng)論 3贊 312
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一囤踩、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧晓褪，春花似錦堵漱、人聲如沸。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 30,726評(píng)論 0贊 21
一樁弒父案怔锌，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)寥粹。三九已至变过，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間涝涤，已是汗流浹背媚狰。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 31,952評(píng)論 1贊 264
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留阔拳，地道東北人崭孤。一個(gè)月前我還...
沈念sama閱讀 46,271評(píng)論 2贊 360
代替公主和親
正文我出身青樓，卻偏偏與公主長(zhǎng)得像糊肠，于是被迫代替她去往敵國(guó)和親辨宠。傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,452評(píng)論 2贊 348