1.1 人工智能
人工智能就是要讓機器的行為看起來就像是人所表現(xiàn)出的智能行為一樣.
(1) 感知:模擬人的感知能力香浩,對外部刺激信息(視覺和語音等)進行感
知和加工.主要研究領(lǐng)域包括語音信息處理和計算機視覺等.
(2) 學習:模擬人的學習能力吕粹,主要研究如何從樣例或從與環(huán)境的交互中
進行學習.主要研究領(lǐng)域包括監(jiān)督學習嗜暴、無監(jiān)督學習和強化學習等.
(3) 認知:模擬人的認知能力,主要研究領(lǐng)域包括知識表示流纹、自然語言理
解吻商、推理滔灶、規(guī)劃、決策等.
1.1.1 人工智能的發(fā)展歷史
1.1.1.1 推理期間
1.1.1.2 知識期
1.1.1.3 學習期
1.1.2 人工智能的流派
1)符號主義(Symbolism)
2)? 連接主義(Connectionism)
1.2 機器學習
機器學習( Machine Learning员魏, ML) 是指從有限的觀測數(shù)據(jù)中學習( 或“猜測”) 出具有一般性的規(guī)律丑蛤, 并利用這些規(guī)律對未知數(shù)據(jù)進行預測的方法.
實際任務(wù)中使用機器學習模型一般會包含:
1)數(shù)據(jù)預處理:(量綱同一、去噪撕阎、分類受裹、連續(xù)變量的編碼等)
2)特征提取
3)特征轉(zhuǎn)換:(降維升維)降維包括特征抽取( Feature Extraction) 和特征選擇( Feature Selection) 兩種途徑. 常用的特征轉(zhuǎn)換方法有主成分分析( Principal Components Analysis虏束, PCA)棉饶、線性判別分析( Linear Discriminant Analysis, LDA) 等.
4)預測:機器學習的核心部分镇匀, 學習一個函數(shù)并進行預測.
1.3 表示學習
如果有一種算法可以自動地學習出有效的特征照藻, 并提高最終機器學習模型的性能, 那么這種學習就可以叫作表示學習( Representation Learning).
兩個核心問題: 一是“什么是一個好的表示”汗侵; 二是“如何學習到好的表示”.
1.3.1?局部表示和分布式表示
局部表示通承衣疲可以表示為one-hot 向量的形式
優(yōu)點:
1) 這種離散的表示方式具有很好的解釋性, 有利于人工歸納和總結(jié)特征晃择, 并通過特征組合進行高效的特征工程
2) 通過多種特征組合得到的表示向量通常是稀疏的二值向量冀值, 當用于線性模型時計算效率非常高
不足之處:?
1) one-hot向量的維數(shù)很高, 且不能擴展
2)特征相似度為0
分布式表示通彻溃可以表示為低維的稠密向量
和局部表示相比列疗, 分布式表示的表示能力要強很多, 分布式表示的向量維度一般都比較低(RGB三維值表示顏色)
1.3.2 表示學習
1.4 深度學習
一種學習方法可以從數(shù)據(jù)中學習一個“深度模型”浪蹂, 這就是深度學習( Deep Learning抵栈, DL). 深度學習是機器學習的一個子問題, 其主要目的是從數(shù)據(jù)中自動學習到有效的特征表示.
1.4.1 端到端學習
1.5 神經(jīng)網(wǎng)絡(luò)
1.5.1 人腦神經(jīng)網(wǎng)絡(luò)
1.5.2 人工神經(jīng)網(wǎng)絡(luò)
1.5.3 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史
第一階段: 模型提出????1943年~1969年?MP模型坤次、Hebbian法則古劲、感知器
第二階段: 冰河期????1969年~1983年????反向傳播算法
第三階段: 反向傳播算法引起的復興????1983年~1995年??Hopfield 網(wǎng)絡(luò)、玻爾茲曼機缰猴、分布式并行處理产艾、梯度消失阻礙
第四階段: 流行度降低????1995 年~2006 SVM及其他簡單方法的流行
第五階段: 深度學習的崛起? ? 2006年至今 “預訓練 + 精調(diào)”+GPU設(shè)備
1.7 常用深度學習框架
( 1) Theano
( 2) Caffe
( 3) TensorFlow
( 4) PyTorch
( 5) PaddlePaddle