PCA
點乘 （內(nèi)積）?
到這里還是看不出內(nèi)積和這東西有什么關系蜡励，不過如果我們將內(nèi)積表示為另一種我們熟悉的形式：
A?B=|A||B|cos(a)
現(xiàn)在事情似乎是有點眉目了：A與B的內(nèi)積等于A到B的投影長度乘以B的模媳谁。再進一步够话，如果我們假設B的模為1，即讓|B|=1帅刀，那么就變成了：
A?B=|A|cos(a)
也就是說炫掐，設向量B的模為1盲镶，則A與B的內(nèi)積值等于A向B所在直線投影的矢量長度！這就是內(nèi)積的一種幾何解釋睁冬，也是我們得到的第一個重要結(jié)論挎春。在后面的推導中，將反復使用這個結(jié)論豆拨。
一般的直奋，如果我們有M個N維向量，想將其變換為由R個N維向量表示的新空間中施禾，那么首先將R個基按行組成矩陣A脚线，然后將向量按列組成矩陣B，那么兩矩陣的乘積AB就是變換結(jié)果弥搞，其中AB的第m列為A中第m列變換后的結(jié)果邮绿。
數(shù)學表示為：
其中pi是一個行向量，表示第i個基攀例，aj是一個列向量船逮，表示第j個原始數(shù)據(jù)記錄。
示例
特別要注意的是粤铭，這里R可以小于N挖胃，而R決定了變換后數(shù)據(jù)的維數(shù)。也就是說，我們可以將一N維數(shù)據(jù)變換到更低維度的空間中去酱鸭，變換后的維度取決于基的數(shù)量吗垮。因此這種矩陣相乘的表示也可以表示降維變換。
最后凛辣，上述分析同時給矩陣相乘找到了一種物理解釋：兩個矩陣相乘的意義是將右邊矩陣中的每一列列向量變換到左邊矩陣中每一行行向量為基所表示的空間中去抱既。更抽象的說，一個矩陣可以表示一種線性變換扁誓。很多同學在學線性代數(shù)時對矩陣相乘的方法感到奇怪防泵，但是如果明白了矩陣相乘的物理意義，其合理性就一目了然了蝗敢。
優(yōu)化目標：投影到新向量后數(shù)據(jù)的離散程度最大化==> 方差最大化捷泞； 而新向量之間的“關聯(lián)”最小化，協(xié)方差最小
上面我們導出了優(yōu)化目標寿谴，但是這個目標似乎不能直接作為操作指南（或者說算法）锁右，因為它只說要什么，但根本沒有說怎么做讶泰。所以我們要繼續(xù)在數(shù)學上研究計算方案咏瑟。
我們看到，最終要達到的目的與字段內(nèi)方差及字段間協(xié)方差有密切關系痪署。因此我們希望能將兩者統(tǒng)一表示码泞，仔細觀察發(fā)現(xiàn)，兩者均可以表示為內(nèi)積的形式狼犯，而內(nèi)積又與矩陣相乘密切相關余寥。于是我們來了靈感：
假設我們只有a和b兩個字段，那么我們將它們按行組成矩陣X：
X=(a1b1a2b2??ambm)
然后我們用X乘以X的轉(zhuǎn)置悯森，并乘上系數(shù)1/m：
1mXXT=(1m∑mi=1a2i1m∑mi=1aibi1m∑mi=1aibi1m∑mi=1b2i)
奇跡出現(xiàn)了宋舷！這個矩陣對角線上的兩個元素分別是兩個字段的方差，而其它元素是a和b的協(xié)方差瓢姻。兩者被統(tǒng)一到了一個矩陣的祝蝠。
根據(jù)矩陣相乘的運算法則，這個結(jié)論很容易被推廣到一般情況：
設我們有m個n維數(shù)據(jù)記錄幻碱，將其按列排成n乘m的矩陣X续膳，設C=1mXXT
，則C是一個對稱矩陣收班，其對角線分別個各個字段的方差，而第i行j列和j行i列元素相同谒兄，表示i和j兩個字段的協(xié)方差摔桦。
設原始數(shù)據(jù)矩陣X對應的協(xié)方差矩陣為C，而P是一組基按行組成的矩陣，設Y=PX邻耕，則Y為X對P做基變換后的數(shù)據(jù)鸥咖。設Y的協(xié)方差矩陣為D，我們推導一下D與C的關系：
C由上步計算得知兄世，P為需求
現(xiàn)在事情很明白了啼辣！我們要找的P不是別的，而是能讓原始協(xié)方差矩陣對角化的P御滩。換句話說鸥拧，優(yōu)化目標變成了尋找一個矩陣P，滿足PCPT
是一個對角矩陣削解，并且對角元素按從大到小依次排列富弦，那么P的前K行就是要尋找的基，用P的前K行組成的矩陣乘以X就使得X從N維降到了K維并滿足上述優(yōu)化條件氛驮。
mysql
排序：order by??? asc 升序(默認)???? desc 降序
聚合函數(shù):
sum()
ifnull(english,0)?? 如果english是null的話,就把它改為0
******* 任何值+null = null
count(*) 腕柜；max()；min()矫废； avg()
where 和 having的區(qū)別?
where 用于分組前 后不能跟聚合函數(shù)
having 用于分組后 可以跟聚合函數(shù)
分組：group by
分組條件過濾：having
SQL的查詢語句的總結(jié)
順序:?? ?s...f...w...g...h...o...;
