1.當內(nèi)存不足遇上超大的數(shù)據(jù)
1.1https://www.kaggle.com/c/talkingdata-adtracking-fraud-detection/discussion/56105
1.2https://blog.csdn.net/xingkong_dahai/article/details/77140918
分塊讀取完后梯轻,對int,float和object進行修改類型阳液,可以節(jié)省很多內(nèi)存忘苛,然后再保存成pickle文件潮售,下次再讀該文件的時候岭妖,速度也可以快很多省古,而且內(nèi)存也小硅瞧。
還有hdf5哦