前一陣子和小卓騰折騰hbase數(shù)據(jù)拉取慢的問題（分別用phoenix-sparks jar包和python-phoenixdb兩種途徑，殊途同歸地慢）。
phoenix-sparks jar包的問題算比較快地位到問題，小卓騰改了個jar包解決了（用得開源抵得填坑，sql語句轉(zhuǎn)譯問題，時間過濾條件轉(zhuǎn)譯失敗粟誓，結(jié)果變成拉全量數(shù)據(jù)回來 在dataframe過濾）。
python-phoenixdb的問題其實也算是比較快定位到了（就是純python的protobuf編解碼性能問題起意，用c++擴展就好鹰服，詳見https://github.com/lalinsky/python-phoenixdb/issues/4），就是腦子一抽以為要重新編譯.proto生成新的協(xié)議文件揽咕，比較麻煩悲酷，就折騰別的需求去了。拖了兩周亲善，最終的起心肝趕在2018之前把這個解決了设易。其實搞下來，也就是重裝個protobuf用c++擴展的事蛹头，腦抽真可怕顿肺。
搞下來性能提升相當(dāng)可觀，
用c++拓展之前渣蜗，程序處理流量200~300kB/s
使用c++拓展之后屠尊，程序處理流量1000~2000kB/s
腳本語言(nodejs/python/lua/php)能給加個擴展(c/c++)，可以說很感恩了~~
python c++擴展大法好
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門凭戴，熙熙樓的掌柜王于貴愁眉苦臉地迎上來涧狮，“玉大人，你說我怎么就攤上這事么夫≌咴” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵档痪，是天一觀的道長涉枫。 經(jīng)常有香客問我，道長腐螟，這世上最難降的妖魔是什么愿汰？ 我笑而不...
- 正文 為了忘掉前任，我火速辦了婚禮乐纸，結(jié)果婚禮上衬廷，老公的妹妹穿的比我還像新娘。我一直安慰自己汽绢，他們只是感情好吗跋，可當(dāng)我...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著宁昭，像睡著了一般跌宛。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上久窟，一...
- 文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼匾灶！你這毒婦竟也來了棱烂？” 一聲冷哼從身側(cè)響起，我...
- 正文 年R本政府宣布岁经，位于F島的核電站朋沮，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏蒿偎。R本人自食惡果不足惜朽们，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望诉位。 院中可真熱鬧骑脱，春花似錦、人聲如沸苍糠。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽岳瞭。三九已至拥娄，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間瞳筏，已是汗流浹背稚瘾。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
- http://geek.csdn.net/news/detail/210469http://www.36dsj.c...
- Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器石窑，智...
- (2017-11-05-周日 22:44:52) 你亦可在網(wǎng)絡(luò)搜索：思維導(dǎo)圖试吁、記憶技巧等 There have b...
