如何偷天換日,在不重啟JVM聚假,替換掉已經(jīng)加載的類

在遙遠(yuǎn)的希艾斯星球爪哇國(guó)塞沃城中块蚌,兩名年輕的程序員正在為一件事情苦惱,程序出問題了膘格,一時(shí)看不出問題出在哪里峭范,于是有了以下對(duì)話:
“Debug一下吧”窦”

“線上機(jī)器虎敦,沒開Debug端口游岳。”

“看日志其徙,看看請(qǐng)求值和返回值分別是什么?”

“那段代碼沒打印日志喷户⊥倌牵”

“改代碼,加日志褪尝,重新發(fā)布一次闹获。”

“懷疑是線程池的問題河哑,重啟會(huì)破壞現(xiàn)場(chǎng)避诽。”

長(zhǎng)達(dá)幾十秒的沉默之后:“據(jù)說璃谨,排查問題的最高境界沙庐,就是只通過Review代碼來(lái)發(fā)現(xiàn)問題〖淹蹋”

比幾十秒長(zhǎng)幾十倍的沉默之后:

“我輪詢了那段代碼一十七遍之后拱雏,終于得出一個(gè)結(jié)論〉装猓”

“結(jié)論是铸抑?”

“我還沒到達(dá)只通過Review代碼就能發(fā)現(xiàn)問題的至高境界≈阅#”

Java對(duì)象行為

文章開頭的問題本質(zhì)上是動(dòng)態(tài)改變內(nèi)存中已存在對(duì)象的行為問題鹊汛。
所以,得先弄清楚JVM中和對(duì)象行為有關(guān)的地方在哪里阱冶,有沒有更改的可能性刁憋。
對(duì)象使用兩種東西來(lái)描述事物:行為和屬性。

舉個(gè)例子:

image

上面Person類中age和name是屬性熙揍,speak是行為职祷。對(duì)象是類的實(shí)例,每個(gè)對(duì)象的屬性都屬于對(duì)象本身届囚,但是每個(gè)對(duì)象的行為卻是公共的有梆。舉個(gè)例子肤晓,比如我們現(xiàn)在基于Person類創(chuàng)建了兩個(gè)對(duì)象犬性,personA和personB:
image

personA和personB有各自的姓名和年齡,但是有共同的行為:speak讥裤。想象一下蛔添,如果我們是Java語(yǔ)言的設(shè)計(jì)者痰催,我們會(huì)怎么存儲(chǔ)對(duì)象的行為和屬性呢兜辞?

“很簡(jiǎn)單,屬性跟著對(duì)象走夸溶,每個(gè)對(duì)象都存一份逸吵。行為是公共的東西,抽離出來(lái)缝裁,單獨(dú)放到一個(gè)地方扫皱。”

“咦捷绑?抽離出公共的部分韩脑,跟代碼復(fù)用好像啊〈馕郏”

“大道至簡(jiǎn)段多,很多東西本來(lái)都是殊途同歸∽撤裕”

也就是說进苍,第一步我們首先得找到存儲(chǔ)對(duì)象行為的這個(gè)公共的地方。一番搜索之后粥航,我們發(fā)現(xiàn)這樣一段描述:

也就是說琅捏,第一步我們首先得找到存儲(chǔ)對(duì)象行為的這個(gè)公共的地方。一番搜索之后递雀,我們發(fā)現(xiàn)這樣一段描述:

Method area is created on virtual machine startup, shared among all Java virtual machine threads and it is logically part of heap area. It stores per-class structures such as the run-time constant pool, field and method data, and the code for methods and constructors.

Java的對(duì)象行為(方法柄延、函數(shù))是存儲(chǔ)在方法區(qū)的。

  • “方法區(qū)中的數(shù)據(jù)從哪來(lái)缀程?”

  • “方法區(qū)中的數(shù)據(jù)是類加載時(shí)從class文件中提取出來(lái)的搜吧。”

  • “class文件從哪來(lái)杨凑?”

  • “從Java或者其他符合JVM規(guī)范的源代碼中編譯而來(lái)滤奈。”

  • “源代碼從哪來(lái)撩满?”

  • “廢話蜒程,當(dāng)然是手寫!”

  • “倒著推伺帘,手寫沒問題昭躺,編譯沒問題,至于加載……有沒有辦法加載一個(gè)已經(jīng)加載過的類呢伪嫁?
    如果有的話领炫,我們就能修改字節(jié)碼中目標(biāo)方法所在的區(qū)域,然后重新加載這個(gè)類张咳,這樣方法區(qū)中的對(duì)象行為(方法)就被改變了帝洪,而且不改變對(duì)象的屬性似舵,也不影響已經(jīng)存在對(duì)象的狀態(tài),那么就可以搞定這個(gè)問題了葱峡⊙饣可是,這豈不是違背了JVM的類加載原理族沃?畢竟我們不想改變ClassLoader频祝。”
    參考文檔

“少年脆淹,可以去看看java.lang.instrument.Instrumentation」烈唬”
java.lang.instrument.Instrumentation

看完文檔之后盖溺,我們發(fā)現(xiàn)這么兩個(gè)接口:redefineClasses和retransformClasses。一個(gè)是重新定義class铣缠,一個(gè)是修改class烘嘱。這兩個(gè)大同小異,看redefineClasses的說明:

This method is used to replace the definition of a class without reference to the existing class file bytes, as one might do when recompiling from source for fix-and-continue debugging. Where the existing class file bytes are to be transformed (for example in bytecode instrumentation) retransformClasses should be used.

都是替換已經(jīng)存在的class文件蝗蛙,redefineClasses是自己提供字節(jié)碼文件替換掉已存在的class文件蝇庭,retransformClasses是在已存在的字節(jié)碼文件上修改后再替換之。
當(dāng)然捡硅,運(yùn)行時(shí)直接替換類很不安全哮内。比如新的class文件引用了一個(gè)不存在的類,或者把某個(gè)類的一個(gè)field給刪除了等等壮韭,這些情況都會(huì)引發(fā)異常北发。所以如文檔中所言,instrument存在諸多的限制:

The redefinition may change method bodies, the constant pool and attributes. The redefinition must not add, remove or rename fields or methods, change the signatures of methods, or change inheritance. These restrictions maybe be lifted in future versions. The class file bytes are not checked, verified and installed until after the transformations have been applied, if the resultant bytes are in error this method will throw an exception.

我們能做的基本上也就是簡(jiǎn)單修改方法內(nèi)的一些行為喷屋,這對(duì)于我們開頭的問題琳拨,打印一段日志來(lái)說,已經(jīng)足夠了屯曹。當(dāng)然狱庇,我們除了通過retransform來(lái)打印日志,還能做很多其他非常有用的事情恶耽,這個(gè)下文會(huì)進(jìn)行介紹密任。


那怎么得到我們需要的class文件呢?一個(gè)最簡(jiǎn)單的方法驳棱,是把修改后的Java文件重新編譯一遍得到class文件批什,然后調(diào)用redefineClasses替換。但是對(duì)于沒有(或者拿不到社搅,或者不方便修改)源碼的文件我們應(yīng)該怎么辦呢驻债?其實(shí)對(duì)于JVM來(lái)說乳规,不管是Java也好,Scala也好合呐,任何一種符合JVM規(guī)范的語(yǔ)言的源代碼暮的,都可以編譯成class文件。JVM的操作對(duì)象是class文件淌实,而不是源碼冻辩。所以,從這種意義上來(lái)講拆祈,我們可以說“JVM跟語(yǔ)言無(wú)關(guān)”恨闪。既然如此,不管有沒有源碼放坏,其實(shí)我們只需要修改class文件就行了咙咽。

直接操作字節(jié)碼

Java是軟件開發(fā)人員能讀懂的語(yǔ)言,class字節(jié)碼是JVM能讀懂的語(yǔ)言淤年,class字節(jié)碼最終會(huì)被JVM解釋成機(jī)器能讀懂的語(yǔ)言钧敞。無(wú)論哪種語(yǔ)言,都是人創(chuàng)造的麸粮。所以溉苛,理論上(實(shí)際上也確實(shí)如此)人能讀懂上述任何一種語(yǔ)言,既然能讀懂弄诲,自然能修改愚战。只要我們?cè)敢猓覀兺耆梢蕴^Java編譯器威根,直接寫字節(jié)碼文件凤巨,只不過這并不符合時(shí)代的發(fā)展罷了,畢竟高級(jí)語(yǔ)言設(shè)計(jì)之始就是為我們?nèi)祟愃?wù)洛搀,其開發(fā)效率也比機(jī)器語(yǔ)言高很多敢茁。參考文檔

對(duì)于人類來(lái)說,字節(jié)碼文件的可讀性遠(yuǎn)遠(yuǎn)沒有Java代碼高留美。盡管如此彰檬,還是有一些杰出的程序員們創(chuàng)造出了可以用來(lái)直接編輯字節(jié)碼的框架,提供接口可以讓我們方便地操作字節(jié)碼文件谎砾,進(jìn)行注入修改類的方法逢倍,動(dòng)態(tài)創(chuàng)造一個(gè)新的類等等操作。其中最著名的框架應(yīng)該就是ASM了景图,cglib较雕、Spring等框架中對(duì)于字節(jié)碼的操作就建立在ASM之上。

我們都知道,Spring的AOP是基于動(dòng)態(tài)代理實(shí)現(xiàn)的亮蒋,Spring會(huì)在運(yùn)行時(shí)動(dòng)態(tài)創(chuàng)建代理類扣典,代理類中引用被代理類,在被代理的方法執(zhí)行前后進(jìn)行一些神秘的操作慎玖。那么贮尖,Spring是怎么在運(yùn)行時(shí)創(chuàng)建代理類的呢?動(dòng)態(tài)代理的美妙之處趁怔,就在于我們不必手動(dòng)為每個(gè)需要被代理的類寫代理類代碼湿硝,Spring在運(yùn)行時(shí)會(huì)根據(jù)需要?jiǎng)討B(tài)地創(chuàng)造出一個(gè)類。這里創(chuàng)造的過程并非通過字符串寫Java文件润努,然后編譯成class文件关斜,然后加載。Spring會(huì)直接“創(chuàng)造”一個(gè)class文件铺浇,然后加載蚤吹,創(chuàng)造class文件的工具,就是ASM了随抠。

到這里,我們知道了用ASM框架直接操作class文件繁涂,在類中加一段打印日志的代碼拱她,然后retransform就可以了。

BTrace

截止到目前扔罪,我們都是停留在理論描述的層面秉沼。那么如何進(jìn)行實(shí)現(xiàn)呢?先來(lái)看幾個(gè)問題:

在我們的工程中矿酵,誰(shuí)來(lái)做這個(gè)尋找字節(jié)碼唬复,修改字節(jié)碼,然后retransform的動(dòng)作呢全肮?我們并非先知敞咧,不可能知道未來(lái)有沒有可能遇到文章開頭的這種問題」枷伲考慮到性價(jià)比休建,我們也不可能在每個(gè)工程中都開發(fā)一段專門做這些修改字節(jié)碼、重新加載字節(jié)碼的代碼评疗。
如果JVM不在本地测砂,在遠(yuǎn)程呢?
如果連ASM都不會(huì)用呢百匆?能不能更通用一些砌些,更“傻瓜”一些。

幸運(yùn)的是加匈,因?yàn)橛蠦Trace的存在存璃,我們不必自己寫一套這樣的工具了仑荐。什么是BTrace呢?BTrace已經(jīng)開源有巧,項(xiàng)目描述極其簡(jiǎn)短:
參考文檔

A safe, dynamic tracing tool for the Java platform.

BTrace是基于Java語(yǔ)言的一個(gè)安全的释漆、可提供動(dòng)態(tài)追蹤服務(wù)的工具。BTrace基于ASM篮迎、Java Attach API男图、Instrument開發(fā),為用戶提供了很多注解甜橱。依靠這些注解逊笆,我們可以編寫B(tài)Trace腳本(簡(jiǎn)單的Java代碼)達(dá)到我們想要的效果,而不必深陷于ASM對(duì)字節(jié)碼的操作中不可自拔岂傲。
看BTrace官方提供的一個(gè)簡(jiǎn)單例子:攔截所有java.io包中所有類中以read開頭的方法难裆,打印類名、方法名和參數(shù)名镊掖。當(dāng)程序IO負(fù)載比較高的時(shí)候乃戈,就可以從輸出的信息中看到是哪些類所引起,是不是很方便亩进?


image

再來(lái)看另一個(gè)例子:每隔2秒打印截止到當(dāng)前創(chuàng)建過的線程數(shù)症虑。
image

看了上面的用法是不是有所啟發(fā)?忍不住冒出來(lái)許多想法归薛。比如查看HashMap什么時(shí)候會(huì)觸發(fā)rehash谍憔,以及此時(shí)容器中有多少元素等等。
有了BTrace主籍,文章開頭的問題可以得到完美的解決习贫。至于BTrace具體有哪些功能,腳本怎么寫千元,這些Git上BTrace工程中有大量的說明和舉例苫昌,網(wǎng)上介紹BTrace用法的文章更是恒河沙數(shù),這里就不再贅述了诅炉。
我們明白了原理蜡歹,又有好用的工具支持,剩下的就是發(fā)揮我們的創(chuàng)造力了涕烧,只需在合適的場(chǎng)景下合理地進(jìn)行使用即可月而。

既然BTrace能解決上面我們提到的所有問題,那么BTrace的架構(gòu)是怎樣的呢议纯?
BTrace主要有下面幾個(gè)模塊:

  • BTrace腳本:利用BTrace定義的注解父款,我們可以很方便地根據(jù)需要進(jìn)行腳本的開發(fā)。

  • Compiler:將BTrace腳本編譯成BTrace class文件。

  • Client:將class文件發(fā)送到Agent憨攒。

  • Agent:基于Java的Attach API世杀,Agent可以動(dòng)態(tài)附著到一個(gè)運(yùn)行的JVM上,然后開啟一個(gè)BTrace Server肝集,接收client發(fā)過來(lái)的BTrace腳本瞻坝;解析腳本,然后根據(jù)腳本中的規(guī)則找到要修改的類杏瞻;修改字節(jié)碼后所刀,調(diào)用Java Instrument的retransform接口,完成對(duì)對(duì)象行為的修改并使之生效捞挥。
    參考文檔

整個(gè)BTrace的架構(gòu)大致如下:

在這里插入圖片描述

BTrace最終借Instrument實(shí)現(xiàn)class的替換浮创。如上文所說,出于安全考慮砌函,Instrument在使用上存在諸多的限制斩披,BTrace也不例外。BTrace對(duì)JVM來(lái)說是“只讀的”讹俊,因此BTrace腳本的限制如下:

  1. 不允許創(chuàng)建對(duì)象
  2. 不允許創(chuàng)建數(shù)組
  3. 不允許拋異常
  4. 不允許catch異常
  5. 不允許隨意調(diào)用其他對(duì)象或者類的方法垦沉,只允許調(diào)用com.sun.btrace.BTraceUtils中提供的靜態(tài)方法(一些數(shù)據(jù)處理和信息輸出工具)
  6. 不允許改變類的屬性
  7. 不允許有成員變量和方法,只允許存在static public void 方法
  8. 不允許有內(nèi)部類仍劈、嵌套類
  9. 不允許有同步方法和同步塊
  10. 不允許有循環(huán)
  11. 不允許隨意繼承其他類(當(dāng)然乡话,java.lang.Object除外)
  12. 不允許實(shí)現(xiàn)接口
  13. 不允許使用assert
  14. 不允許使用Class對(duì)象

如此多的限制,其實(shí)可以理解耳奕。BTrace要做的是,雖然修改了字節(jié)碼诬像,但是除了輸出需要的信息外屋群,對(duì)整個(gè)程序的正常運(yùn)行并沒有影響。

Arthas

BTrace腳本在使用上有一定的學(xué)習(xí)成本坏挠,如果能把一些常用的功能封裝起來(lái)芍躏,對(duì)外直接提供簡(jiǎn)單的命令即可操作的話,那就再好不過了降狠。阿里的工程師們?cè)缫严氲竭@一點(diǎn)对竣,就在去年,阿里巴巴開源了自己的Java診斷工具——Arthas
Arthas提供簡(jiǎn)單的命令行操作榜配,功能強(qiáng)大否纬。究其背后的技術(shù)原理,和本文中提到的大致無(wú)二蛋褥。
本文旨在說明Java動(dòng)態(tài)追蹤技術(shù)的來(lái)龍去脈临燃,掌握技術(shù)背后的原理之后,只要愿意,各位讀者也可以開發(fā)出自己的“冰封王座”出來(lái)膜廊。
參考文檔

三生萬(wàn)物

現(xiàn)在乏沸,讓我們?cè)囍驹诟叩牡胤健案╊边@些問題。
Java的Instrument給運(yùn)行時(shí)的動(dòng)態(tài)追蹤留下了希望爪瓜,Attach API則給運(yùn)行時(shí)動(dòng)態(tài)追蹤提供了“出入口”蹬跃,ASM則大大方便了“人類”操作Java字節(jié)碼的操作。

基于Instrument和Attach API前輩們創(chuàng)造出了諸如JProfiler铆铆、Jvisualvm蝶缀、BTrace這樣的工具。以ASM為基礎(chǔ)發(fā)展出了cglib算灸、動(dòng)態(tài)代理扼劈,繼而是應(yīng)用廣泛的Spring AOP。

Java是靜態(tài)語(yǔ)言菲驴,運(yùn)行時(shí)不允許改變數(shù)據(jù)結(jié)構(gòu)荐吵。然而,Java 5引入Instrument赊瞬,Java 6引入Attach API之后先煎,事情開始變得不一樣了。雖然存在諸多限制巧涧,然而薯蝎,在前輩們的努力下,僅僅是利用預(yù)留的近似于“只讀”的這一點(diǎn)點(diǎn)狹小的空間谤绳,仍然創(chuàng)造出了各種大放異彩的技術(shù)占锯,極大地提高了軟件開發(fā)人員定位問題的效率。
參考文檔

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末缩筛,一起剝皮案震驚了整個(gè)濱河市消略,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌瞎抛,老刑警劉巖艺演,帶你破解...
    沈念sama閱讀 217,084評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異桐臊,居然都是意外死亡胎撤,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,623評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門断凶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)伤提,“玉大人,你說我怎么就攤上這事认烁∑。” “怎么了识藤?”我有些...
    開封第一講書人閱讀 163,450評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)次伶。 經(jīng)常有香客問我痴昧,道長(zhǎng),這世上最難降的妖魔是什么冠王? 我笑而不...
    開封第一講書人閱讀 58,322評(píng)論 1 293
  • 正文 為了忘掉前任赶撰,我火速辦了婚禮,結(jié)果婚禮上柱彻,老公的妹妹穿的比我還像新娘豪娜。我一直安慰自己,他們只是感情好哟楷,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,370評(píng)論 6 390
  • 文/花漫 我一把揭開白布瘤载。 她就那樣靜靜地躺著,像睡著了一般卖擅。 火紅的嫁衣襯著肌膚如雪鸣奔。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,274評(píng)論 1 300
  • 那天惩阶,我揣著相機(jī)與錄音挎狸,去河邊找鬼。 笑死断楷,一個(gè)胖子當(dāng)著我的面吹牛锨匆,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播冬筒,決...
    沈念sama閱讀 40,126評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼恐锣,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了舞痰?” 一聲冷哼從身側(cè)響起侥蒙,我...
    開封第一講書人閱讀 38,980評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎匀奏,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體学搜,經(jīng)...
    沈念sama閱讀 45,414評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡娃善,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,599評(píng)論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了瑞佩。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片聚磺。...
    茶點(diǎn)故事閱讀 39,773評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖炬丸,靈堂內(nèi)的尸體忽然破棺而出瘫寝,到底是詐尸還是另有隱情蜒蕾,我是刑警寧澤,帶...
    沈念sama閱讀 35,470評(píng)論 5 344
  • 正文 年R本政府宣布焕阿,位于F島的核電站咪啡,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏暮屡。R本人自食惡果不足惜撤摸,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,080評(píng)論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望褒纲。 院中可真熱鬧准夷,春花似錦、人聲如沸莺掠。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,713評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)彻秆。三九已至楔绞,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間掖棉,已是汗流浹背墓律。 一陣腳步聲響...
    開封第一講書人閱讀 32,852評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留幔亥,地道東北人耻讽。 一個(gè)月前我還...
    沈念sama閱讀 47,865評(píng)論 2 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像帕棉,于是被迫代替她去往敵國(guó)和親针肥。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,689評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容