給女朋友上鎖 有一天夢見女朋友跟一個(gè)陌生男人逛街盐茎,我很是著急行贪,于是有很多志同道合的朋友開始為我出謀劃策。有說嵌言,讓那個(gè)男的指向null苹丸,讓垃圾回收他雷绢。 也有的說給個(gè)死循環(huán)争群,讓他...
給女朋友上鎖 有一天夢見女朋友跟一個(gè)陌生男人逛街盐茎,我很是著急行贪,于是有很多志同道合的朋友開始為我出謀劃策。有說嵌言,讓那個(gè)男的指向null苹丸,讓垃圾回收他雷绢。 也有的說給個(gè)死循環(huán)争群,讓他...
最近的一個(gè)項(xiàng)目中使用了spark技術(shù)過程遇到的一些問題,下面就以問題來分析原因及解決過程店量。 問題 1芜果、創(chuàng)建sparkView沒有加限制條件,導(dǎo)致創(chuàng)建幾十上百萬大數(shù)據(jù)量的vie...
著名的密碼學(xué)者Ron Rivest曾經(jīng)說過:“密碼學(xué)是關(guān)于如何在敵人存在的環(huán)境中通訊”垫桂。 的確师幕,從嚴(yán)謹(jǐn)?shù)慕嵌葋碇v,不管是公網(wǎng)環(huán)境還是在企業(yè)內(nèi)網(wǎng)诬滩,我們?cè)O(shè)計(jì)系統(tǒng)的時(shí)候都需要充分考...
前言 目前spark sql 主要應(yīng)用在structure streaming霹粥、etl 和 machine learning 的場景上, 它能對(duì)結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行存儲(chǔ)和操作疼鸟,結(jié)...
java多線程里面volatile以及CAS都是比單純的鎖能提供更高性能的一種共享資源訪問機(jī)制后控,在這里進(jìn)行對(duì)其原理的探究和解析 在前言這里先介紹一下并發(fā)編程的兩個(gè)概念: (1...
開發(fā)一個(gè)專門用于運(yùn)維的接口,每次需要運(yùn)維時(shí)空镜,指定ip進(jìn)行(若不指定ip浩淘,由于有多臺(tái)部署機(jī)器,請(qǐng)求路由到完全不可知的機(jī)器上) 采用公司分布式配置依賴最多的吴攒,功能也相對(duì)強(qiáng)大的zo...
最近負(fù)責(zé)的系統(tǒng)總是出現(xiàn)奇怪的緩存問題谍咆,在這里簡單記錄一下碰到的問題和踩到的坑猿妈。 問題:用戶反映使用不同賬號(hào)A,B登錄時(shí),都出現(xiàn)賬號(hào)A的頁面信息(未郵寄賬單提示)逼争。如下所示: ...
寫在最前 隨著互聯(lián)網(wǎng)日漸發(fā)展确丢,開發(fā)人員需要處理的數(shù)據(jù)量愈來愈大魂那,一些不起眼的小問題可能就會(huì)引發(fā)燎原之火六敬,而其中一個(gè)例子就是海量數(shù)據(jù)的檢索。 由于歷史原因及業(yè)務(wù)因素安岂,某些數(shù)據(jù)我...
前言 近期開發(fā)一個(gè)用于手機(jī) WebView 的頁面,因?yàn)槭呛唵雾撁嬗蚰牵瑸榱吮苊獯虬穆闊┝撸瑳]有用 webpack,直接用 require.js 加載資源文件了 ,頁面的具體功能...
前言 根據(jù)部門技術(shù)要求,同時(shí)提高系統(tǒng)的穩(wěn)定性和易維護(hù)性,需要對(duì)現(xiàn)有系統(tǒng)進(jìn)行技術(shù)升級(jí)改造,在技術(shù)改造的過程中難免會(huì)遇到一些問題,令我印象比較深刻的就是文章標(biāo)題所說的BeanCr...
背景介紹 截至編寫此文馋嗜,A系統(tǒng)已經(jīng)成功上線2年有多,作為國內(nèi)主流電商公司核心的基礎(chǔ)公共服務(wù)系統(tǒng)之一域庇,每天承載了數(shù)十億級(jí)別流量嵌戈。自上線以來成功地經(jīng)受住了雙十一,周年店慶等大促的...
異常處理是我們?nèi)粘i_發(fā)中關(guān)注比較少的一塊听皿,雖然很多時(shí)候并不起眼熟呛,但是如果處理不當(dāng),很容易使精心設(shè)計(jì)的程序變得不堪一擊尉姨。通過學(xué)習(xí)軟件強(qiáng)健度等級(jí)劃分的概念及常用的異常處理方法庵朝,能...
前言 由于我司的系統(tǒng)已存在穩(wěn)定的Hive on Hadoop集群以及Spark集群,隨著業(yè)務(wù)發(fā)展,需要打通這兩者九府,并能方便大家在其上進(jìn)行開放椎瘟,于是有了本文。本文實(shí)際是關(guān)于"H...
最近工作中侄旬,老是遇到程序假死或者宕掉肺蔚,最終原因都是full gc導(dǎo)致,剛好回過頭再學(xué)習(xí)一下JVM內(nèi)存模式儡羔,以及GC垃圾回收機(jī)制宣羊,減少故障幾率。 一汰蜘、JVM內(nèi)存模型及垃圾收集算...
在日常中我們經(jīng)常遇到這樣的錯(cuò)誤:java.lang.OutOfMemoryError: Java heap space仇冯。但是除了heap space 的OutOfMemory...
1.前言 最近需要基于ES做一些統(tǒng)計(jì)分析的報(bào)表,所以對(duì)其聚合功能做了一些了解族操,發(fā)現(xiàn)功能挺強(qiáng)大苛坚,能夠從大量數(shù)據(jù)中對(duì)指標(biāo)做一些復(fù)雜的統(tǒng)計(jì)分析,而且只需簡單的調(diào)用一個(gè)API就能實(shí)現(xiàn)...
1.前言 以編譯程序執(zhí)行本地代碼色难,比解釋執(zhí)行更快泼舱,除虛擬機(jī)解釋執(zhí)行字節(jié)碼額外消耗時(shí)間的原因之外,另一個(gè)很重要原因就是虛擬機(jī)設(shè)計(jì)團(tuán)隊(duì)幾乎把對(duì)代碼的所有優(yōu)化措施都集中在即時(shí)編譯器...
1. 背景 由于業(yè)務(wù)需求驅(qū)動(dòng)莱预,財(cái)務(wù)系統(tǒng)需要定時(shí)從庫存事物數(shù)據(jù)庫柠掂,及訂單接口,價(jià)格接口等數(shù)據(jù)庫實(shí)例或接口系統(tǒng)獲取數(shù)據(jù)并按設(shè)定的動(dòng)態(tài)邏輯規(guī)則生成賬單及明細(xì).面對(duì)復(fù)雜,海量數(shù)據(jù)來源...