Python氣象數(shù)據(jù)處理與繪圖(16):去趨勢(shì)與濾波

在最開始,我首先給出一個(gè)原始序列妓局,序列并沒有任何意義总放,藍(lán)線為原始序列,黃線為其線性回歸好爬,可以看到序列有一個(gè)明顯的線性上升的趨勢(shì)局雄,并且序列有很強(qiáng)的年際變化和年代際變化特征。


原始序列及其趨勢(shì)

去趨勢(shì)

研究長(zhǎng)時(shí)間的氣候變化會(huì)發(fā)現(xiàn)很多序列是帶有趨勢(shì)的存炮,有部分觀點(diǎn)認(rèn)為這是認(rèn)為因素造成全球變暖導(dǎo)致的炬搭,研究本身的大氣變化需要去掉序列的趨勢(shì),簡(jiǎn)單來說就是序列的每一個(gè)點(diǎn)都減去序列趨勢(shì)的回歸斜率乘以一個(gè)時(shí)間步長(zhǎng)穆桂,當(dāng)然前提是這個(gè)序列的線性趨勢(shì)是顯著的宫盔。還有一個(gè)要注意的是去趨勢(shì)序列(若干年長(zhǎng)度的序列)并不等于該序列的年際變化,獲得年際變化分量需要去用濾波或者其他方法單獨(dú)提取享完,我目前看到的大部分文獻(xiàn)中的去趨勢(shì)都是為了剔除人為因素造成的全球變暖灼芭。
scipy直接提供了一個(gè)去趨勢(shì)函數(shù),十分的方便般又。

scipy.signal.detrend(data, axis=-1, type='linear', bp=0, overwrite_data=False)
#data:輸入數(shù)據(jù)彼绷,可以為任意維度
#axis,指定對(duì)哪一維度去趨勢(shì)
#type茴迁,可設(shè)置為'linear'即為去線性趨勢(shì)寄悯,設(shè)置為'constant',則為去平均值堕义,即為求距平
#bp热某,斷點(diǎn),若設(shè)置,則為斷點(diǎn)兩側(cè)分別去趨勢(shì)昔馋,即將序列分成兩個(gè)子序列各自計(jì)算
#overwrite_data筹吐,是否覆蓋原數(shù)據(jù)

對(duì)上邊的序列去線性趨勢(shì)(紅色為原始序列,藍(lán)色為去趨勢(shì)后序列):

time_series_dtrend = signal.detrend(time_series, axis=0, type='linear', 
                                    bp=0, overwrite_data=False)
plt.plot(x,time_series_dtrend,c = "b")
plt.plot(x,time_series,c = "r")
去趨勢(shì)對(duì)比圖

濾波

濾波有很多濾波器秘遏,我這里只給出其中一種丘薛,仍是scipy.signal提供的Butterworth(巴特沃斯)濾波器。

scipy.signal.butter(N, Wn, btype='low')
#N: 濾波器階數(shù)
#Wn:臨界頻率
#btype:濾波器類型邦危,{‘lowpass’, ‘highpass’, ‘bandpass’, ‘bandstop’}分別為高通洋侨,低通,帶通倦蚪,帶阻希坚。
#比如50年序列,提取年代際用低通陵且,提取年際用高通

那比如說我們要對(duì)上邊的原始序列分別提取年代際分量裁僧,我們的采樣頻率是1年,1個(gè)年代際周期是10年慕购,也就是頻率為0.1聊疲,那么截至頻率Wn=2*0.1/1=0.2,比如我們構(gòu)造一個(gè)8階Butterworth低通濾波器沪悲,那么

b, a = signal.butter(8, 0.2, 'lowpass')  
#b,a分別為分子和分母系數(shù)获洲,用法請(qǐng)繼續(xù)往下看

濾波器構(gòu)造好后就可以對(duì)原序列濾波了,這時(shí)候使用到濾波函數(shù)

scipy.signal.filtfilt(b, a, x, axis=-1)
#這時(shí)我們就用到了a和b
#X為要濾波的序列
#axis指定對(duì)哪一維濾波

完整的濾波:

b, a = signal.butter(8, 0.2, 'lowpass')  
time_series_filt = signal.filtfilt(b, a, time_series,axis = 0)   
plt.plot(x,time_series_filt,c = "r")
濾波

雖然看起來很奇怪殿如,但是確實(shí)是這樣贡珊,我給出九年滑動(dòng)平均來對(duì)比(藍(lán)色為原始序列,紅色為低通濾波涉馁,黑色為九年滑動(dòng)平均):


效果對(duì)比

所以這就不難發(fā)現(xiàn)為什么很多人用九年滑動(dòng)平均代替年代際分量门岔,因?yàn)榇_實(shí)結(jié)果差不多,實(shí)際上從原理來講我認(rèn)為滑動(dòng)平均也可以算是一種濾波了谨胞。至于為什么濾波的結(jié)果這么平滑固歪,這是濾波器的階數(shù)造成的蒜鸡,降低濾波器的階數(shù)就可以了胯努。

滑動(dòng)平均

最后部分給出滑動(dòng)平均的方法,前陣子我在一個(gè)群里看到有人問逢防,實(shí)際上python的滑動(dòng)平均是被卷積函數(shù)代替的叶沛。通過構(gòu)造一個(gè)卷積核來實(shí)現(xiàn)權(quán)重滑動(dòng)平均,在這一點(diǎn)上忘朝,它的用法是比NCL中的smooth函數(shù)更廣泛的灰署。我們以等權(quán)重九年滑動(dòng)平均舉例(卷積的概念就不細(xì)講了,感興趣的可以百度,大致理解為滑動(dòng)也是可以的溉箕。):

#首先構(gòu)造一個(gè)等權(quán)重的卷積核晦墙,這個(gè)卷積核規(guī)定了滑動(dòng)長(zhǎng)度為9,每個(gè)點(diǎn)的權(quán)重是等權(quán)重的1/9
a = np.repeat(1/9, 9)
#卷積運(yùn)算(滑動(dòng)平均)
time_series_9 = np.convolve(time_series, a, mode='same')
#這里的mode是設(shè)置滑動(dòng)后序列兩端值的 參數(shù)有{‘full’, ‘valid’, ‘same’}
#‘full’ 默認(rèn)值肴茄,返回每一個(gè)卷積值晌畅,長(zhǎng)度是N+M-1,在卷積的邊緣處,信號(hào)不重疊寡痰,存在邊際效應(yīng)抗楔,實(shí)際上是擴(kuò)充了兩端數(shù)值,通常不選這個(gè)選項(xiàng)拦坠。
#‘same’ 返回的數(shù)組長(zhǎng)度為max(M, N),邊際效應(yīng)依舊存在连躏。得到序列與原始序列長(zhǎng)度一樣。
#‘valid’  兩端缺失贞滨,不自動(dòng)補(bǔ)全入热。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市疲迂,隨后出現(xiàn)的幾起案子才顿,更是在濱河造成了極大的恐慌,老刑警劉巖尤蒿,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件郑气,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡腰池,警方通過查閱死者的電腦和手機(jī)尾组,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來示弓,“玉大人讳侨,你說我怎么就攤上這事∽嗍簦” “怎么了跨跨?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)囱皿。 經(jīng)常有香客問我勇婴,道長(zhǎng),這世上最難降的妖魔是什么嘱腥? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任耕渴,我火速辦了婚禮,結(jié)果婚禮上齿兔,老公的妹妹穿的比我還像新娘橱脸。我一直安慰自己础米,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布添诉。 她就那樣靜靜地躺著屁桑,像睡著了一般。 火紅的嫁衣襯著肌膚如雪栏赴。 梳的紋絲不亂的頭發(fā)上掏颊,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音艾帐,去河邊找鬼乌叶。 笑死,一個(gè)胖子當(dāng)著我的面吹牛柒爸,可吹牛的內(nèi)容都是我干的准浴。 我是一名探鬼主播,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼捎稚,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼乐横!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起今野,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤葡公,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后条霜,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體催什,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年宰睡,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了蒲凶。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡拆内,死狀恐怖旋圆,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情麸恍,我是刑警寧澤灵巧,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站抹沪,受9級(jí)特大地震影響刻肄,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜采够,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一肄方、第九天 我趴在偏房一處隱蔽的房頂上張望冰垄。 院中可真熱鬧蹬癌,春花似錦权她、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至董济,卻和暖如春步清,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背虏肾。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來泰國(guó)打工廓啊, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人封豪。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓谴轮,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親吹埠。 傳聞我的和親對(duì)象是個(gè)殘疾皇子第步,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容