[Java]部署測試HBase小結

前兩天到現(xiàn)場的測試環(huán)境部署HBase生命周期(實際上也是部署了2.4版本進行測試)問題還是有點多的赁遗,簡單記錄一些現(xiàn)在還記得的問題與解決辦法晴叨。

1.開始遇到了Kerberos...只想說這是個坑,拿到了keytab,krb5.conf還是沒用捞挥,最后卡在principal在regExp [/@] 切分時報錯,_HOST有問題忧吟,查不到具體解決辦法砌函,只好看了下Hadoop - SecurityUtil的源碼,報錯的地方見getServerPrincipal(String principalConfig, InetAddress addr)方法溜族,找不到本機HostName讹俊,但是自己寫了個InetAddress.getLocalHost().getCanonicalHostName()
(就是SecurityUtil.getLocalHostName()方法)測了一把,發(fā)現(xiàn)能正確取到HostName...整個人懵逼煌抒,研究了許久仍劈,實在沒法處理,于是放棄Kerberos
附上hadoop-SecurityUtil源碼:SecurityUtil.java


2.放棄Kerberos后走回正道寡壮,想著先寫個簡單的java API去list一下有哪些表贩疙,測試項目就直接取了集群隨便一個datanode上的${HBASE_HOME}/lib下所有jar與hadoop-core.jar,hadoop-hdfs.jar诬像,取了${HBASE_HOME}/conf/hbase-site.xml屋群,打包后放到服務器,跑坏挠!悲催芍躏,hbase-site.xml下的hbase.rootdir是hdfs路徑(hdfs://xxxx/hbase/lib),報Unknown Host降狠,想想覺得奇怪对竣,一般Unknown Host都是因為沒有正常配置/etc/hosts,解析hostname時不知道對應ip才報這個錯榜配,并且在報錯的時候也用hadoop fs -ls hdfs://xxxx能正常讀取hdfs否纬,baidu/google都查了很久,貌似沒人遇到過這種問題...問了同事后蛋褥,讓我把集群core-site.xml,hdfs-site.xml一起丟到classpath临燃,還是沒用!不知道哪里靈光一現(xiàn)烙心,感覺這肯定是hdfs這塊出了問題膜廊,于是乎把服務器hadoop/share/hadoop*jar全加到項目lib...(不一定全部需要,但全加了肯定有用...)再測一把淫茵,嗯嗯爪瓜,破費好吧....效果全等于hbase shell list


3.測試沒問題后,就把自己的代碼往服務器丟了...部署過程也是坎坷匙瘪。logback感覺抽了铆铆,tomcat的catalina.out沒日志....沒日志....沒日志....這要我怎么測蝶缀。看了一萬遍Server.xml頭疼(因為端口也有點問題薄货,服務器很多tomcat翁都,甚至想直接su了殺了那個占我8080/8005/...端口的家伙...,但所有服務器root都改了強密碼...keygen這種玩意生成的密碼菲驴,就算了吧...)荐吵。沒有用自己的tomcat,沒有用服務器現(xiàn)成的tomcat赊瞬,因為不知道別人的server.xml到底改了什么(順帶吐槽RHEL沒有配置過的vim真難用...難道是被別人alias vim=vi了...)從apache搞了最新的tomcat8先煎,war包丟進去,簡單改了下content.xml巧涧,./start.sh && tailf ../logs/catalina.out ...還是沒有日志薯蝎,我x了x了。谤绳。占锯。用curl測了下靜態(tài)登錄頁面,也是正常的缩筛。萬能的同事又來了...把logback.xml從WEB-INF/classes/丟到了WEB-INF/消略,但還是沒用...
換回了自己的tomcat,啟動瞎抛,報錯....日志比較友好docBase="C:\Users\L\work\apache-tomcat-8.0.38\wtpwebapps\dacp-me-deploy"不存在艺演,那必須啊...改成了服務器上的絕對路徑,還是報錯....直接注釋掉整個<Context docBase="xxx"/>啟動tomcat...瞬間啟動完畢桐臊,容器里都沒有app的那種瞬間完成胎撤,原來是webapps里面沒東西...把wtpwebapps下的項目復制過來,一切over......啟動日志有了断凶,log也有了...


部署測試后記
????自己代碼也有一些邏輯問題伤提,一直是閉門造車,但卻做不到出門合轍认烁。果然是騾子是馬肿男,拉出來溜溜就知道了...不過說實話,自己本機之前搭的偽分布式都沒完全搞定却嗡,直接上完全分布式的確有點不明智次伶,不過再不搞就算拖工期了啊...(捂臉...)
????所以想要能直接在正式hadoop環(huán)境上搞點什么,自己也要有完全分布式的環(huán)境稽穆,不說做到有一個完全鏡像與生產(chǎn)的測試環(huán)境,至少核心部分要一樣啊....

第一點Kerberos里面的確是沒時間研究了赶撰,時間不允許舌镶,有空要看看源碼柱彻,到底怎么報錯的...
第二點對于tomcat的理解也不夠深刻,平時處于只是能用的階段餐胀,到了真的出問題的時候哟楷,哎。否灾。書到用時方恨少...準備再寫一篇關于Tomcat的博文卖擅,時間再定吧...

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市墨技,隨后出現(xiàn)的幾起案子惩阶,更是在濱河造成了極大的恐慌,老刑警劉巖扣汪,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件断楷,死亡現(xiàn)場離奇詭異,居然都是意外死亡崭别,警方通過查閱死者的電腦和手機冬筒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來茅主,“玉大人舞痰,你說我怎么就攤上這事【饕Γ” “怎么了响牛?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長学搜。 經(jīng)常有香客問我娃善,道長,這世上最難降的妖魔是什么瑞佩? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任聚磺,我火速辦了婚禮,結果婚禮上炬丸,老公的妹妹穿的比我還像新娘瘫寝。我一直安慰自己,他們只是感情好稠炬,可當我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布焕阿。 她就那樣靜靜地躺著,像睡著了一般首启。 火紅的嫁衣襯著肌膚如雪暮屡。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天毅桃,我揣著相機與錄音褒纲,去河邊找鬼准夷。 笑死,一個胖子當著我的面吹牛莺掠,可吹牛的內(nèi)容都是我干的衫嵌。 我是一名探鬼主播,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼彻秆,長吁一口氣:“原來是場噩夢啊……” “哼楔绞!你這毒婦竟也來了?” 一聲冷哼從身側響起唇兑,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤酒朵,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后幔亥,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體耻讽,經(jīng)...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年帕棉,在試婚紗的時候發(fā)現(xiàn)自己被綠了针肥。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡香伴,死狀恐怖慰枕,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情即纲,我是刑警寧澤具帮,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布,位于F島的核電站低斋,受9級特大地震影響蜂厅,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜膊畴,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一掘猿、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧唇跨,春花似錦稠通、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至玉控,卻和暖如春飞主,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工既棺, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留讽挟,地道東北人。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓丸冕,卻偏偏與公主長得像,于是被迫代替她去往敵國和親薛窥。 傳聞我的和親對象是個殘疾皇子胖烛,可洞房花燭夜當晚...
    茶點故事閱讀 44,933評論 2 355

推薦閱讀更多精彩內(nèi)容