基本概念
https://chenrudan.github.io/blog/2014/06/26/dl1baseconcept.html
deep在移動端的應(yīng)用
收集行業(yè)案例
http://weixin.sogou.com/weixin?type=2&query=%E7%A7%BB%E5%8A%A8%E7%AB%AF+%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0&ie=utf8&s_from=input&sug=n&sug_type=
支付寶
含代碼 | 支付寶如何優(yōu)化移動端深度學(xué)習(xí)引擎？
logistic回歸的參數(shù)
線性回歸是個(gè)啥而线？
邏輯回歸是個(gè)啥唉韭？ https://tech.meituan.com/intro_to_logistic_regression.html
https://www.sohu.com/a/205786533_314987
https://blog.csdn.net/sxf1061926959/article/details/66976356?locationNum=9&fps=1
想讓損失函數(shù)小一些是什么含義味滞？ 損失函數(shù)
成本函數(shù)
全局成本函數(shù)是對1到m的損失函數(shù)和的平均
梯度下降法 學(xué)習(xí)率阿爾法
函數(shù)的斜率
偏導(dǎo)函數(shù)
logistic 回歸的梯度下降法
算反向傳播是為了梯度下降妹卿，求出來導(dǎo)出
多個(gè)特征情況下 如何運(yùn)用梯度下降?
每個(gè)神經(jīng)單元需要
激活函數(shù)
和他們的導(dǎo)數(shù)有啥關(guān)系呢厦滤？計(jì)算梯度下降的時(shí)候會用到翘瓮？箱舞？
西格瑪函數(shù)遍坟，二元分類的輸出層
ReLU函數(shù) 的好處是，在斜率將近為0時(shí)晴股，存在減慢學(xué)習(xí)速度的效應(yīng)愿伴。
Tanh函數(shù)
非線性的激活函數(shù)，什么是線性的呢电湘？什么不是線性的隔节？
線性隱層一點(diǎn)用都沒有鹅经，除非是未了做縮放
梯度下降
對損失函數(shù)的各個(gè)w求導(dǎo)，在不斷更新w怎诫，就是求解的過程瘾晃，
線性的 擬合過程不行嗎？
關(guān)于梯度下降求導(dǎo)刽虹，知道了損失函數(shù)的導(dǎo)數(shù)酗捌，如何知道 成本函數(shù)的導(dǎo)數(shù)呢呢诬？成本函數(shù)是 多樣本的均值涌哲，如何求導(dǎo)數(shù)呢？
話說真的要費(fèi)一些心思呢 https://blog.csdn.net/jasonzzj/article/details/52017438
梯度下降算法的實(shí)現(xiàn)過程尚镰，因?yàn)榇嬖谇昂笠蕾?/p>
淺層網(wǎng)絡(luò)
向量化
單隱層神經(jīng)網(wǎng)絡(luò)中的前向和后向傳播阀圾，logistic回歸，向量化
為什么隨機(jī)初始化比較重要狗唉，
深層神經(jīng)網(wǎng)絡(luò)
多少層的時(shí)候初烘，不算輸入層剩下的，隱層個(gè)數(shù)+輸出層之和
深層網(wǎng)絡(luò)中前向傳播
會影響第一層激活單元的參數(shù)分俯，求激活函數(shù)
那梯度下降是干啥的呀肾筐，為了更快的訓(xùn)練出 單元參數(shù)？
梯度下降的計(jì)算過程
求多樣本的同一項(xiàng)dw之和的平均值缸剪，N個(gè)樣本就對應(yīng)N個(gè)dz吗铐，N個(gè)特征列就對應(yīng)N個(gè)dw或者w
定義各層神經(jīng)元功能
如何定制化各個(gè)神經(jīng)單元的功能，比如第一層的識別邊緣杏节，第二層的識別五官唬渗，第三層的識別人臉？
概率論
機(jī)器學(xué)習(xí)
多隱層時(shí)不需要考慮前后的聯(lián)動性么奋渔？
訓(xùn)練開發(fā)測試集
驗(yàn)證集或簡單交叉驗(yàn)證集的作用是：驗(yàn)證不同算法更有效
初始化w\b參數(shù)
用于 得到比較好的 模型參數(shù)
偏差 和 方差
分別是什么含義镊逝？
偏差 代表著 準(zhǔn)確度
方差 代表著 穩(wěn)定度
過擬合，是低偏差嫉鲸、高方差撑蒜，導(dǎo)致適用范圍宅，對未見過的數(shù)據(jù)的預(yù)測能力弱玄渗，泛化的不好座菠。新增驗(yàn)證集，驗(yàn)證集中包含多樣的數(shù)據(jù)
欠擬合捻爷，是高偏差辈灼、低方差，導(dǎo)致準(zhǔn)確率低
http://baijiahao.baidu.com/s?id=1591715304965529269&wfr=spider&for=pc
正則化
什么是正則化? 有什么用途呢也榄？ 用于 解決 過擬合
https://blog.csdn.net/haima1998/article/details/79425831
從例子中看正則化的求導(dǎo)過程巡莹，結(jié)合了加法函數(shù)求導(dǎo)司志、導(dǎo)數(shù)的鏈?zhǔn)椒▌t、偏導(dǎo)的求解降宅。特別是偏導(dǎo)數(shù)的求解骂远，記得相關(guān)的加法函數(shù)。比如
dW3 = 1./m * np.dot(dZ3, A2.T) + lambd/m * W3
dW2 = 1./m * np.dot(dZ2, A1.T) + lambd/m * W2
dW1 = 1./m * np.dot(dZ1, X.T) + lambd/m * W1
Dropout
矩陣范數(shù) 和 虛數(shù)實(shí)數(shù)的理解
https://blog.csdn.net/u013534498/article/details/52674008
L2范數(shù) https://blog.csdn.net/zouxy09/article/details/24971995
https://www.guokr.com/post/432219/
歸一化或規(guī)則化
https://blog.csdn.net/leiting_imecas/article/details/54986045
用于 將橢圓修正為 正圓
梯度檢測
在w\b超參初始值附近做雙邊求導(dǎo)的結(jié)果 和 通過正常的求導(dǎo)公式推算出來的對應(yīng)超參的偏導(dǎo)公式的結(jié)果腰根，做對比（對比公式如下）激才，如果相差很小，則說明驗(yàn)證通過额嘿。
為啥要選上面的公式呢瘸恼？是不是能夠探尋到grad 和 gradapprox 之間微弱的差異，具有對差異超強(qiáng)的放大的能力册养？东帅？？球拦？nonono
每個(gè)神經(jīng)元的功能都是一樣的么靠闭？
還是每次一層中每個(gè)神經(jīng)元都有各自的功能，所有在編程的時(shí)候坎炼，是針對每個(gè)神經(jīng)元編程的過程
指數(shù)加權(quán)平均數(shù)是什么東西?
從內(nèi)存和效率方面對 360天 N天平均值計(jì)算的優(yōu)化算法愧膀，N天越小越靈敏，N天越大谣光，越滯后越平緩檩淋。
t(i)=β * t(i-1) + (1-β) * 歷史當(dāng)天溫度(i)
β越小N就越小越靈敏，積分函數(shù)斜率越陡抢肛。但是如何從積分函數(shù)的面積中狼钮，如何獲得標(biāo)準(zhǔn)差呢？如果是正交分布的話有置信區(qū)間的概念捡絮，2個(gè)方差對應(yīng)的置信區(qū)間熬芜，對應(yīng)的天數(shù)算是決定性的，也可以約等于N福稳。這樣的涎拉，到e分之1的時(shí)候停止。
1/e = 0.98(50) 的圆。 50 = 1/(1-0.98)鼓拧。就是這樣一個(gè)規(guī)律。
指數(shù)加權(quán)的偏差修正
Mini-Batch
求解方法是越妈，兩次For循環(huán)季俩，最外層是訓(xùn)練次數(shù)，最內(nèi)層是樣本集個(gè)數(shù)梅掠，對樣本集個(gè)數(shù)遍歷時(shí)dW是累計(jì)變更的酌住。但是店归，難道就沒有一種情況是，一直在水平搖擺酪我，而不能下降消痛？好奇怪
動量梯度下降法 Momentum
RMSProp ？都哭？為什么可以說Db 和 Dw 分別控制橫軸 和 縱軸秩伞？？欺矫？控制搖擺纱新？
？汇陆？控制方式采用均方和么怒炸？带饱？
如何評估模型好壞毡代？方差和偏差，如何解決過擬合勺疼？
如何加速模型訓(xùn)練教寂？Momentum 和 RMSProp 或者 Adam優(yōu)化算法
Adam優(yōu)化算法
???為啥每一代都需要Shuffle呢？
學(xué)習(xí)率衰減
加速學(xué)習(xí)有兩個(gè)方向执庐，1是減少橫向擺動 2是增加縱向跨度酪耕。
通過RMSProp 和 Momentum 可以減少 橫向擺動？轨淌？迂烁？
通過學(xué)習(xí)率可以提高縱向跨度？递鹉？盟步？學(xué)習(xí)率要衰減的原因是可以 在鞍點(diǎn)附近左右跳動，而到不了馬鞍點(diǎn)
局部最優(yōu)的問題
超參的調(diào)試與實(shí)驗(yàn)
存在兩種模式躏结，熊貓模式 和 魚子醬模式 却盘，熊貓模式數(shù)據(jù)量大但計(jì)算能力弱，魚子醬模式是計(jì)算能力強(qiáng)的前提下可并行開工
因?yàn)槌瑓⒌拿舾卸仁侵笖?shù)級別的媳拴，非線性的的黄橘。比如指數(shù)加權(quán)中，1/(1-β) β越小影響越大呀屈溉！
歸一化化網(wǎng)絡(luò)的激活
歸一化輸入特征可加速學(xué)習(xí)過程
http://www.reibang.com/p/540d56ef350f
塞关？？子巾？歸一化在mini-batch中每個(gè)子集合每一代的計(jì)算流程沒搞懂哎帆赢？驶睦？？
Softmax回歸
SoftMax（映射為概率） 和 HardMax（映射為0或1）的區(qū)別
木有理解 最末端成本函數(shù)是如何計(jì)算的匿醒？方向傳播中dz[L] 的導(dǎo)數(shù)公式是如何推到的场航？
。廉羔。溉痢。。憋他。孩饼。。竹挡。镀娶。。揪罕。梯码。
Tensorflow基礎(chǔ)
不同角度的同一張照片，能被識別嗎好啰？
SoftMax的工作過程還是沒有懂哎
正交化
業(yè)務(wù)Review（業(yè)務(wù)流程 架構(gòu)設(shè)計(jì) 依賴關(guān)系）------ 組件化----插件化----- 端上DL
就是控制變量法轩娶，對每一層設(shè)定單獨(dú)的旋鈕用于調(diào)優(yōu)該層結(jié)果。
單一數(shù)字評估指標(biāo)
查全率 和 查準(zhǔn)率 的含義框往，查全率的分母是全量樣本貓的個(gè)數(shù)分子是真貓的個(gè)數(shù)鳄抒，查準(zhǔn)率的分母是模型識別為貓個(gè)個(gè)數(shù)分子是真貓的個(gè)數(shù)。
模型識別為貓但是不是真貓椰弊，查準(zhǔn)率许溅，假陽性
還有很多真貓模型沒識別到，查全率
滿足和優(yōu)化指標(biāo)
訓(xùn)練 開發(fā) 測試集
要求來自同一個(gè)數(shù)據(jù)分布
測試和真實(shí)數(shù)據(jù)在一個(gè)分布秉版，保證了可使用
在同一分布中設(shè)計(jì)開發(fā)和測試集
什么時(shí)候改變開發(fā)集
先定義目標(biāo)贤重，也就是cost函數(shù)
改善模型表現(xiàn)
可避免偏差 理解人的表現(xiàn)
比較全面的給出了優(yōu)化思路
http://mooc.study.163.com/learn/2001280004?tid=2001391037#/learn/content?type=detail&id=2001702135&cid=2001693043
誤差分析
誤差分析就是借助事件概率判斷解決的優(yōu)先級
不匹配數(shù)據(jù)劃分
如何解決來自不同分布的數(shù)據(jù)集呢？目標(biāo)原則上不能變的是沐飘，測試集和開發(fā)集都要用真實(shí)數(shù)據(jù)集游桩。
針對來自不同分布的訓(xùn)練集和開發(fā)集，如何評估方差大 是因?yàn)椴煌植荚斐傻哪推樱€是方差本身就大借卧？
Case：
- 存在可避免偏差：訓(xùn)練集誤差 和 人類水平對貝葉斯誤差 相差很大
- 方差問題：訓(xùn)練集 和 訓(xùn)練開發(fā)集 相差很大
- 數(shù)據(jù)集不匹配問題：訓(xùn)練開發(fā)集 和 開發(fā)集誤差相差很大
關(guān)鍵詞：人類水平對貝葉斯誤差、偏差筛峭、方差铐刘、訓(xùn)練集（訓(xùn)練集誤差，分布1）影晓、訓(xùn)練開發(fā)集（分布1）镰吵、開發(fā)集（分布2）檩禾、測試集（分布2）。
如何解決數(shù)據(jù)分布不匹配的問題疤祭？
可以人工模擬合成盼产，比如1w小時(shí)人聲音 + 1小時(shí)車內(nèi)噪音（1W次重放），但是要防止對噪音產(chǎn)生過擬合
遷移學(xué)習(xí)
通俗點(diǎn)就是 模塊化開發(fā)勺馆，組合模式
多任務(wù)學(xué)習(xí)戏售？？草穆？灌灾？？不懂悲柱？锋喜？？和SoftMax的區(qū)別
什么是端到端的深度學(xué)習(xí)
人臉身份識別豌鸡，身份樣本只有一個(gè)呀嘿般？ DL是怎么訓(xùn)練的？
如何組裝這些復(fù)雜的機(jī)器學(xué)習(xí)系統(tǒng)
池化層
卷積網(wǎng)絡(luò)
線性激活
視覺規(guī)范
殘差網(wǎng)絡(luò)
用于訓(xùn)練深度網(wǎng)絡(luò)直颅，普通模型針對深度網(wǎng)絡(luò)訓(xùn)練效率存在微笑曲線博个，而非越來越小
隨著網(wǎng)絡(luò)加深，訓(xùn)練結(jié)果錯(cuò)誤率存在反彈功偿。要通過殘差網(wǎng)絡(luò)搞定
訓(xùn)練開發(fā)集的作用
有各種模型，然后缺少的是參數(shù)調(diào)優(yōu)師
卷積網(wǎng)路如何進(jìn)行反向傳播的梯度下降
ＭぁＰ岛伞！虑灰！ 好奇的事吨瞎，模型背后的依據(jù)是什么？穆咐？颤诀？
為什么是這樣組合方式，而不是其他中对湃，背后的數(shù)學(xué)依據(jù)是什么崖叫？
！Ｅ钠狻心傀！對CONV卷積之前的理解是，指定過濾器功能拆讯，沒想到居然要機(jī)器學(xué)習(xí)脂男？养叛？？宰翅？他能學(xué)到啥么弃甥？？
對過濾器的理解汁讼，需要自己手動指定過濾器并決定每層要放置那類的過濾器潘飘。
LeNet
？視覺識別對于訓(xùn)練集圖片旋轉(zhuǎn)后掉缺，還能被識別嘛卜录？？一張照片闊以被平移旋轉(zhuǎn)移位得到萬種新圖片？裘鳌＜瓒尽！
目標(biāo)檢測
目標(biāo)識別搜囱、目標(biāo)定位標(biāo)記
YOLO 沒有搞明白針對拆分為19*19網(wǎng)格后丑瞧，是如何訓(xùn)練到識別局部？然后再拼裝為一個(gè)整體并得到邊界的蜀肘？
YOLO 如何識別局部呢绊汹？
同一張圖片的大小、明暗扮宠、平移旋轉(zhuǎn)西乖、局部 對結(jié)果是否有影響？坛增？获雕？？
什么是目標(biāo)檢測收捣？
目標(biāo)檢測的任務(wù)是找出圖像中所有感興趣的目標(biāo)（物體）届案，確定它們的位置和大小，是機(jī)器視覺領(lǐng)域的核心問題之一罢艾。由于各類物體有不同的外觀楣颠，形狀，姿態(tài)咐蚯，加上成像時(shí)光照童漩，遮擋等因素的干擾，目標(biāo)檢測一直是機(jī)器視覺領(lǐng)域最具有挑戰(zhàn)性的問題仓蛆。
計(jì)算機(jī)視覺中關(guān)于圖像識別有四大類任務(wù)：
分類-Classification：解決“是什么睁冬？”的問題，即給定一張圖片或一段視頻判斷里面包含什么類別的目標(biāo)。
定位-Location：解決“在哪里豆拨？”的問題直奋，即定位出這個(gè)目標(biāo)的的位置。
檢測-Detection：解決“是什么施禾？在哪里脚线？”的問題，即定位出這個(gè)目標(biāo)的的位置并且知道目標(biāo)物是什么弥搞。
分割-Segmentation：分為實(shí)例的分割（Instance-level）和場景分割（Scene-level）邮绿，解決“每一個(gè)像素屬于哪個(gè)目標(biāo)物或場景”的問題。
#### 序列模型
RNN recurrent neural networks
語言模型和序列生成
沒有搞明白攀例，語音文件作為輸入方船逮，他的入口在哪里？完全沒有體現(xiàn)呀粤铭？挖胃？？梆惯？
梯度下降
梯度下降是成本函數(shù)J 對 參數(shù)w酱鸭、b的組成的函數(shù)求極小值的過程。
- 理解激活函數(shù)的作用垛吗，如何做到了線性可分凹髓。讓線性歸回轉(zhuǎn)化為非線性，成為邏輯回歸怯屉，為什么是凸函數(shù)呢蔚舀？做二分類時(shí)，如何定義損失函數(shù)蚀之？ https://www.zhihu.com/question/22334626
- 理解卷積的作用過濾器蝗敢，測試邊緣過濾器，真的有用么足删？或者垂直過濾器 https://jizhi.im/blog/post/intuitive_explanation_cnn 可視化http://scs.ryerson.ca/~aharley/vis/conv/flat.html
- 深入理解貝葉斯公式 https://jizhi.im/blog/post/bayes1
A1
從y = x^2介紹梯度下降的原理，引入無隱層的二元分類問題模型锁右，z = w1x1+w2x2+b 失受，a = sigma(z)，L= loss(a,y)咏瑟，J=1/m * (L的和)拂到。我們需要求出來J(w,b)損失函數(shù)的極小值，J相當(dāng)于Y码泞，w和b相當(dāng)于x兄旬，利用梯度下降求w和b。激活函數(shù)的作用？J一定是凸函數(shù)么领铐？代價(jià)函數(shù)有哪些悯森？正向反向傳播的過程是怎么樣的？
邏輯回歸到DNN绪撵，以及各個(gè)環(huán)節(jié)的優(yōu)化方案
CNN 和 RNN
A2
CNN過程可視化 https://zhuanlan.zhihu.com/p/42904109
https://blog.csdn.net/qq_15192373/article/details/78393520
https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650728746&idx=1&sn=61e9cb824501ec7c505eb464e8317915&scene=0#wechat_redirect
卷積層是如何做到對變形瓢姻、移動后的圖片有很好泛化能力？還有邊緣檢測是如何做到的音诈？
過濾器真的有這么神奇幻碱？驗(yàn)證下唄
過濾器 + 激活函數(shù)+ 池化 + 最后的全連接層
損失函數(shù)：輸出層具有類似分類交叉熵的損失函數(shù)
我們知道差量的化，可以去除參照物的干擾
RGB轉(zhuǎn)黑白 Gray = R0.299 + G0.587 + B*0.114 细溅，基于單濾波器
神奇的過濾器
從開始到現(xiàn)在有很多顛覆想法的節(jié)點(diǎn)
- 多隱層網(wǎng)絡(luò)褥傍，方向傳播求梯度下降，逐層求偏導(dǎo)的過程喇聊，原來是真的在用鏈?zhǔn)椒▌t呀恍风，分清楚是求dA還是求dW
- 還有正則化的時(shí)候，對成本函數(shù)新增正則項(xiàng)承疲，不能忘了對正則項(xiàng)求偏導(dǎo)
- Dropout的方式邻耕，哎媽呀還用到了掩碼，在A之后用掩碼再賦值給A燕鸽，求導(dǎo)數(shù)時(shí)兄世，也要用同樣的掩碼計(jì)算有效節(jié)點(diǎn)的導(dǎo)數(shù)，完成一次遞歸后啊研，下次遞歸再更新掩碼
numpy庫：常用基本
contourf用于繪制等高線
https://www.cnblogs.com/lemonbit/p/7593898.html
https://morvanzhou.github.io/tutorials/data-manipulation/plt/3-3-contours/
為了畫登高區(qū)域御滩，也是拼了，居然用0.01密度的Grid党远，并預(yù)測每個(gè)Grid削解，再畫到坐標(biāo)中，因?yàn)槊芏雀吖涤椋芯瓦B接到了一起氛驮，形成了對模型二分類的分布圖。
def plot_decision_boundary(model, X, y):
# Set min and max values and give it some padding
x_min, x_max = X[0, :].min() - 1, X[0, :].max() + 1
y_min, y_max = X[1, :].min() - 1, X[1, :].max() + 1
h = 0.01
# Generate a grid of points with distance h between them
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
# Predict the function value for the whole grid
Z = model(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
# Plot the contour and training examples
plt.contourf(xx, yy, Z, cmap=plt.cm.Spectral)
plt.ylabel('x2')
plt.xlabel('x1')
plt.scatter(X[0, :], X[1, :], c=y, cmap=plt.cm.Spectral)
