關(guān)于linux 軟中斷對網(wǎng)卡性能的影響以及優(yōu)化

首先前计,要對軟中斷有一個認(rèn)識潜秋,程序運(yùn)行后,操作系統(tǒng)會發(fā)送程序需要的一些cpu指令到某個cpu疾捍,扔給CPU的這個過程是異步的,cpu獲得指令后操作完成會觸發(fā)一個硬中斷栏妖,并且把操作的結(jié)果保存在寄存器乱豆,之后linux內(nèi)核會啟動ksofttrip進(jìn)程去,來獲取操作結(jié)果吊趾,這個動作就叫做軟中斷宛裕。
linux默認(rèn)會起n個ksofttrip進(jìn)程瑟啃,n等于cpu的個數(shù),ksofttrip是死循環(huán)揩尸,只要有軟中斷蛹屿,它就會一直去獲取,n個ksoftrip獲取源是一樣的岩榆,為什么要起n個進(jìn)程呢错负?就是為了 ,當(dāng)某個cpu空閑勇边,哪個就去跑犹撒。通常操作系統(tǒng)里它的進(jìn)程名是 ksoftrip/n ,n是對應(yīng)的cpu的編號,ksoft進(jìn)程跟cpu是一對一綁定的粒褒。
現(xiàn)在來說說網(wǎng)卡的性能問題识颊,要想優(yōu)化,首先你的網(wǎng)卡必須是多通道隊列的奕坟。那如何知道你的網(wǎng)卡是否是多隊列的呢祥款? 通過cat /proc/interrept |grep eth0|wc -l 可以看到網(wǎng)卡通道隊列的數(shù)量.
現(xiàn)在來來說說優(yōu)化方案,為什么要優(yōu)化月杉,因為linux默認(rèn)情況所有的網(wǎng)卡的軟中斷都是的cpu0刃跛,所以加入你的ksoftrip/0總是跑滿,就說明可能是網(wǎng)卡問題了。

方案1 沙合,SMP IRQ affinity技術(shù)
說白了奠伪,就是信號量分布技術(shù),把特定信號量的處理放到固定的cpu上首懈,每個網(wǎng)卡的通道隊列都有一個自己的信號量绊率。
首先查看所有網(wǎng)卡通道隊列的信號量,方法 cat/proc/interrept |grep eth0
每行最開頭的數(shù)字“n:”就是信號量究履,在/proc/irq/下面可以找到對應(yīng)的以信號量命名的目錄
找完了之后滤否,可以進(jìn)行信號量綁定了,在/proc/irq/n/下面有兩個文件最仑,分別是smp_affinity跟smp_affinity_list, 這兩個是文件的內(nèi)容是對應(yīng)的藐俺,smp_affinity里是通過bitmask算法綁定cpu,smp_affinity_list是通過數(shù)字指定cpu編號的方法泥彤,例如 cpu0欲芹,文件里就是“0”,如果是cpu1跟2就是“1,2”
!吟吝!重點(diǎn)來了菱父,雖然默認(rèn)里面填寫的是多個,但是!U阋恕官辽!但是它只跑在綁定cpu中的第一個!K谒病同仆!坑啊H蛊贰K着!
所以清酥,你要做的就是單獨(dú)綁定每一個網(wǎng)卡的通道隊列扶镀。
直接echo "1" >/proc/irq/(cpu0的信號量)/snmp_affinity_list echo "2" >/proc/irq/(cpu1的信號量)/snmp_affinity_list
echo "3" >/proc/irq/$(cpu2的信號量)/snmp_affinity_list

這個是最快速的解決方案,提升效率顯著把媲帷3艟酢!辱志!

升級方案2蝠筑,在方案1基礎(chǔ)之上,RPS/RFS技術(shù)
此技術(shù)大家可以查網(wǎng)上揩懒,文章很多什乙,優(yōu)化效果是,單個網(wǎng)卡通道隊列的軟中斷會平均到所有cpu上已球,并且會優(yōu)化為臣镣,中斷落在發(fā)出中斷的程序所在的那個cpu上,這樣節(jié)省了cpu cache智亮。

壞消息是對單隊列網(wǎng)卡而言忆某,「smp_affinity」和「smp_affinity_list」配置多CPU無效。

好消息是Linux支持RPS阔蛉,通俗點(diǎn)來說就是在軟件層面模擬實現(xiàn)硬件的多隊列網(wǎng)卡功能弃舒。

首先看看如何配置RPS,如果CPU個數(shù)是 8 個的話状原,可以設(shè)置成 ff:

shell> echo ff > /sys/class/net/eth0/queues/rx-0/rps_cpus

接著配置內(nèi)核參數(shù)rps_sock_flow_entries(官方文檔推薦設(shè)置: 32768):

shell> sysctl net.core.rps_sock_flow_entries=32768

最后配置rps_flow_cnt聋呢,單隊列網(wǎng)卡的話設(shè)置成rps_sock_flow_entries即可:

echo 32768 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt

說明:如果是多隊列網(wǎng)卡,那么就按照隊列數(shù)量設(shè)置成 rps_sock_flow_entries / N 颠区。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末削锰,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子毕莱,更是在濱河造成了極大的恐慌栓辜,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,123評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件柜蜈,死亡現(xiàn)場離奇詭異约谈,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)质和,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評論 2 384
  • 文/潘曉璐 我一進(jìn)店門稳摄,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人饲宿,你說我怎么就攤上這事厦酬。” “怎么了瘫想?”我有些...
    開封第一講書人閱讀 156,723評論 0 345
  • 文/不壞的土叔 我叫張陵仗阅,是天一觀的道長。 經(jīng)常有香客問我国夜,道長减噪,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,357評論 1 283
  • 正文 為了忘掉前任车吹,我火速辦了婚禮筹裕,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘窄驹。我一直安慰自己朝卒,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,412評論 5 384
  • 文/花漫 我一把揭開白布乐埠。 她就那樣靜靜地躺著抗斤,像睡著了一般。 火紅的嫁衣襯著肌膚如雪丈咐。 梳的紋絲不亂的頭發(fā)上瑞眼,一...
    開封第一講書人閱讀 49,760評論 1 289
  • 那天,我揣著相機(jī)與錄音扯罐,去河邊找鬼负拟。 笑死,一個胖子當(dāng)著我的面吹牛歹河,可吹牛的內(nèi)容都是我干的掩浙。 我是一名探鬼主播,決...
    沈念sama閱讀 38,904評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼秸歧,長吁一口氣:“原來是場噩夢啊……” “哼厨姚!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起键菱,我...
    開封第一講書人閱讀 37,672評論 0 266
  • 序言:老撾萬榮一對情侶失蹤谬墙,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體拭抬,經(jīng)...
    沈念sama閱讀 44,118評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡部默,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,456評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了造虎。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片傅蹂。...
    茶點(diǎn)故事閱讀 38,599評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖算凿,靈堂內(nèi)的尸體忽然破棺而出份蝴,到底是詐尸還是另有隱情,我是刑警寧澤氓轰,帶...
    沈念sama閱讀 34,264評論 4 328
  • 正文 年R本政府宣布婚夫,位于F島的核電站,受9級特大地震影響署鸡,放射性物質(zhì)發(fā)生泄漏案糙。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,857評論 3 312
  • 文/蒙蒙 一储玫、第九天 我趴在偏房一處隱蔽的房頂上張望侍筛。 院中可真熱鬧,春花似錦撒穷、人聲如沸匣椰。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,731評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽禽笑。三九已至,卻和暖如春蛤奥,著一層夾襖步出監(jiān)牢的瞬間佳镜,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,956評論 1 264
  • 我被黑心中介騙來泰國打工凡桥, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蟀伸,地道東北人。 一個月前我還...
    沈念sama閱讀 46,286評論 2 360
  • 正文 我出身青樓缅刽,卻偏偏與公主長得像啊掏,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子衰猛,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,465評論 2 348

推薦閱讀更多精彩內(nèi)容