普通數(shù)據(jù)讀取沦泌,一般都是將數(shù)據(jù)完全讀入內(nèi)存之后糊昙,在根據(jù)某些特征分組后,再計(jì)算分組內(nèi)的均值指標(biāo)赦肃;此舉要求,申請(qǐng)的內(nèi)存需不小于讀取的數(shù)據(jù)所占用的內(nèi)存總和公浪。
現(xiàn)提出一個(gè)優(yōu)化方案他宛,數(shù)據(jù)讀取時(shí),先判斷特征(特征可以是多個(gè)關(guān)鍵字組合)欠气,如果特征不存在厅各,那就把這條數(shù)據(jù)加入進(jìn)去,并計(jì)數(shù)數(shù)據(jù)條數(shù)预柒,如果特征已存在队塘,則先根據(jù)數(shù)據(jù)條數(shù)求出原來(lái)的總和,并計(jì)算出新的均值宜鸯,再計(jì)數(shù)數(shù)據(jù)條數(shù)憔古,如此循環(huán),可使用相對(duì)有限的內(nèi)存讀出淋袖,可以達(dá)到節(jié)省內(nèi)存的目的鸿市。
具體代碼,由于涉密問(wèn)題即碗,不便放出焰情,請(qǐng)諒解。