基于數(shù)據(jù)驅(qū)動的自適應(yīng)軟測量建模方法研究及應(yīng)用

（[博士論文]基于數(shù)據(jù)驅(qū)動的自適應(yīng)軟測量建模方法研究及應(yīng)用_金懷平）

一、首先從摘要部分可知，論文主要進(jìn)行了如下工作：

1.由于工業(yè)過程往往表現(xiàn)出強(qiáng)烈的非線性姚建、多模式/多時段等特性，采用傳統(tǒng)的全局建模方法通常得不到滿意的結(jié)果巷挥。因此基于“分而治之”思想的局部學(xué)習(xí)方法丽柿，如多模型策略、即時學(xué)習(xí)蔗包、集成學(xué)習(xí)等秉扑，成為解決此類過程建模的優(yōu)先選擇。

2.為了有效處理間歇過程的非線性调限、時變性和多時段性等特征舟陆，將時段建模思想和即時學(xué)習(xí)方法相結(jié)合，以核偏最小二乘為局部建模技術(shù)耻矮，提出了一種多時段即時學(xué)習(xí)自適應(yīng)軟測量方法秦躯。（1）首先基于高斯混合模型將間歇過程劃分為多個時段，然后分別建立相應(yīng)的即時學(xué)習(xí)框架裆装。（2）在線實(shí)施時踱承，基于貝葉斯推理策略估計查詢點(diǎn)屬于不同時段的后驗(yàn)概率，并選擇最相關(guān)的即時學(xué)習(xí)框架實(shí)現(xiàn)主導(dǎo)變量的估計哨免。（3）為進(jìn)一步提升模型的預(yù)測性能和自適應(yīng)能力茎活，定義了一種混合相似度，并提出了一種基于在線交叉驗(yàn)證的自適應(yīng)樣本選擇策略琢唾。（4）此外载荔，基于最大相似度替換原則實(shí)現(xiàn)數(shù)據(jù)庫更新，基于偏互信息指標(biāo)選擇輸入變量采桃。

3.傳統(tǒng)的即時學(xué)習(xí)方法存在一些不足：①頻繁的局部模型在線重構(gòu)影響了在線預(yù)測的實(shí)時性懒熙；②常規(guī)的相似度指標(biāo)未考慮樣本輸出信息，而且忽略了輸入輸出變量之間的相關(guān)性普办，從而影響了預(yù)測精度工扎；③局部建模樣本數(shù)固定不變，制約了模型的自適應(yīng)能力和預(yù)測性能衔蹲。針對這些問題肢娘，提出了一種基于在線局部學(xué)習(xí)的自適應(yīng)軟測量方法。該方法引入了一種在線雙重更新策略，通過交替執(zhí)行即時學(xué)習(xí)和偏移補(bǔ)償校正蔬浙，不僅顯著提高了模型的實(shí)時性能猪落，而且有效避免了預(yù)測性能的惡化。此外畴博，定義了基于互信息的加權(quán)相似度和基于相鄰樣本的輸入輸出相似度笨忌，在此基礎(chǔ)上提出了自驗(yàn)證和相鄰驗(yàn)證自適應(yīng)樣本選擇策略。

4.融合局部學(xué)習(xí)框架和在線支持向量回歸算法俱病，提出了一種新的多模型自適應(yīng)軟測量方法官疲。首先，基于移動窗口策略和統(tǒng)計假設(shè)檢驗(yàn)方法將過程劃分為多個局部區(qū)域亮隙，并建立相應(yīng)的局部模型途凫。然后借鑒即時學(xué)習(xí)思想估計局部模型對查詢點(diǎn)相似樣本的預(yù)測性能，并結(jié)合貝葉斯推理策略對部分表現(xiàn)最佳的局部模型進(jìn)行自適應(yīng)集成溢吻。

5.基于集成學(xué)習(xí)和高斯過程回歸提出了一種通用的在線集成自適應(yīng)軟測量方法维费。首先，基于即時學(xué)習(xí)相似樣本選擇和概率分析策略構(gòu)建一組具有較小冗余度的局部區(qū)域促王，并建立相應(yīng)的局部模型犀盟。然后基于有限混合機(jī)理實(shí)現(xiàn)局部預(yù)測均值和方差的在線集成蹈胡。此外姨谷，該方法在兩個層次上實(shí)施更新，即局部模型更新和混合權(quán)值更新筋帖。

下面對一些自己不熟悉的專有名詞去進(jìn)行解釋：

即時學(xué)習(xí)：即時學(xué)習(xí)（JITL）技術(shù)已經(jīng)被廣泛用于非線性過程的自適應(yīng)軟測量迅耘。每當(dāng)查詢樣本到來時贱枣，它都會使用歷史數(shù)據(jù)集中最相關(guān)的樣本構(gòu)建在線本地模型。因此颤专，預(yù)測性能很大程度上取決于相關(guān)樣本選擇的相似性測量纽哥。

偏最小二乘法：偏最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配栖秕。 用最簡的方法求得一些絕對不可知的真值昵仅，而令誤差平方之和為最小。 很多其他的優(yōu)化問題也可通過最小化能量或最大化熵用最小二乘形式表達(dá)累魔。偏最小二乘用于查找兩個矩陣（X和Y）的基本關(guān)系，即一個在這兩個空間對協(xié)方差結(jié)構(gòu)建模的隱變量方法够滑。偏最小二乘模型將試圖找到X空間的多維方向來解釋Y空間方差最大的多維方向垦写。偏最小二乘回歸特別適合當(dāng)預(yù)測矩陣比觀測的有更多變量，以及X的值中有多重共線性的時候彰触。通過投影預(yù)測變量和觀測變量到一個新空間來尋找一個線性回歸模型梯投。

核偏最小二乘沒有找到相關(guān)定義，以后再去理解：核偏最小二乘（KPLS）是解決非線性系統(tǒng)的一種有希望的回歸方法，因?yàn)樗梢酝ㄟ^非線性核函數(shù)有效地計算高維特征空間中的回歸系數(shù)分蓖。與其他非線性偏最小二乘（PLS）技術(shù)不同尔艇，KPLS不需要任何非線性優(yōu)化程序，并且其復(fù)雜度類似于線性PLS么鹤。

高斯過程回歸：高斯過程回歸（Gaussian Process Regression, GPR）是使用高斯過程（Gaussian Process, GP）先驗(yàn)對數(shù)據(jù)進(jìn)行回歸分析的非參數(shù)模型（non-parameteric model）?[1]?终娃。GPR的模型假設(shè)包括噪聲（回歸殘差）和高斯過程先驗(yàn)兩部分，其求解按貝葉斯推斷（Bayesian inference）進(jìn)行?[2]?蒸甜。若不限制核函數(shù)的形式棠耕，GPR在理論上是緊致空間（compact space）內(nèi)任意連續(xù)函數(shù)的通用近似（universal approximator）。此外柠新，GPR可提供預(yù)測結(jié)果的后驗(yàn)窍荧，且在似然為正態(tài)分布時，該后驗(yàn)具有解析形式恨憎。因此蕊退，GPR是一個具有泛用性和可解析性的概率模型?[3]?°究遥基于高斯過程及其核函數(shù)所具有的便利性質(zhì)瓤荔，GPR在時間序列分析、圖像處理和自動控制等領(lǐng)域的問題中有得到應(yīng)用??GPR是計算開銷較大的算法喇嘱，通常被用于低維和小樣本的回歸問題?[1]?茉贡，但也有適用于大樣本和高維情形的擴(kuò)展算法

二、緒論

異常值：異常值又稱為極端值者铜、離群點(diǎn)(outlier)腔丧，是指嚴(yán)重偏離典型觀測值或有效測量范圍的數(shù)據(jù)。

特征提取與特征選擇

軟測量建模中非線性問題是必須解決的一個關(guān)鍵問題作烟，也是很常見的問題

局部建模方法愉粤。采用“分而治之”思想，首先將變量空間劃分為多個局部區(qū)域拿撩，

然后在每個局部區(qū)域上建立一個簡單局部函數(shù)衣厘，從而獲得對整個系統(tǒng)的全局描述。局

部加權(quán)回歸(locally weighted regression)[49,50]压恒、集成學(xué)習(xí)(ensemble learning)[51,52]影暴、即時

學(xué)習(xí)(Just-in-Time Learning, JIT)[53,54]等均采用了局部建模思想。

動態(tài)(dynamic)模型和自適應(yīng)(adaptive)模型的概念容易引起混淆探赫，在此作簡要辨析型宙。

動態(tài)模型需要捕捉的是變量的動態(tài)特性，即歷史信息對當(dāng)前預(yù)測的影響伦吠。本質(zhì)上妆兑，動

態(tài)模型的基本結(jié)構(gòu)保持不變魂拦，因此并不具備自適應(yīng)更新能力。與動態(tài)模型不同搁嗓，自適

應(yīng)模型具備利用最新過程信息對模型做出校正的能力芯勘，更新過程中新的過程信息會被

納入模型中，同時舊的信息會被移除或降低權(quán)重腺逛，通常涉及到模型結(jié)構(gòu)或參數(shù)的變化荷愕。

此外，自適應(yīng)模型并不排斥使用動態(tài)模型作為初始模型屉来。

本文將軟測量技術(shù)的主要應(yīng)用分為四類：(1)過程難測參數(shù)的在線預(yù)測路翻；(2)過程監(jiān)測，即過程故障檢測

與診斷茄靠；(3)傳感器監(jiān)測茂契，即傳感器故障檢測及重構(gòu)；(4)what-if 分析慨绳。

盡管軟測量建模的方法很多掉冶，但一般可將其分為三類：基于機(jī)理知識的建模(白箱模型)；基于數(shù)據(jù)驅(qū)動的建模(黑

箱模型)脐雪；基于機(jī)理知識和過程數(shù)據(jù)相結(jié)合的混合建模(灰箱模型)厌小。

?第 2 章 基于多時段即時學(xué)習(xí)的自適應(yīng)軟測量建模方法

由于間歇過程具有非線性、時變性和多時段性等特征战秋，傳統(tǒng)的單模型和非自適應(yīng)模型難以有效發(fā)揮作用璧亚。針對這種情況，將時段建模思想與即時學(xué)習(xí)相結(jié)合脂信，以 KPLS為局部建模技術(shù)癣蟋，提出了一種基于多時段即時學(xué)習(xí)的自適應(yīng)軟測量建模方法，即MJIT-KPLS狰闪。該方法首先基于高斯混合模型將間歇過程劃分為多個時段疯搅，然后分別建立相應(yīng)的局部即時學(xué)習(xí)框架，在線應(yīng)用時根據(jù)查詢點(diǎn)關(guān)于不同時段的后驗(yàn)概率埋泵，選擇最相關(guān)的局部即時學(xué)習(xí)框架用于預(yù)測幔欧。相對于傳統(tǒng)的即時學(xué)習(xí)，新方法還提出了多種改進(jìn)措施：定義了一種融合時段相似度與樣本相似度的混合相似度以更好地評價樣本相似性丽声；基于在線交叉驗(yàn)證提出了一種自適應(yīng)樣本選擇策略礁蔗，在改善預(yù)測性能的同時提升模型的自適應(yīng)特性；提出了一種基于最大相似度替換原則的數(shù)據(jù)庫更新策略雁社；給出了一種基于偏互信息指標(biāo)的變量選擇方法以進(jìn)一步完善該建氖蒴铮框架。

第 3 章 基于在線局部學(xué)習(xí)的自適應(yīng)軟測量建模方法?

第 4 章 基于多模型在線支持向量回歸的自適應(yīng)軟測量建模方法

第 5 章 基于在線集成高斯過程回歸的自適應(yīng)軟測量建模方法

第 6 章 基于雙重學(xué)習(xí)的在線集成自適應(yīng)軟測量建模方法

（未完待續(xù)......）