一. 運維 1. Master掛掉,standby重啟也失效 Master默認(rèn)使用512M內(nèi)存谓传，當(dāng)集群中運行的任務(wù)特別多時蜈项，就會掛掉，原因是master會讀取每個task的e...
發(fā)簡信
IP屬地：陜西
-
Spark排錯與優(yōu)化
-
pySpark 機器學(xué)習(xí)庫ml入門
在spark中提供了兩個機器學(xué)習(xí)庫mllib和ml续挟，mllib的操作是基于RDD的紧卒，而ml則是基于DataFrame，是主流機器學(xué)習(xí)庫诗祸。 1跑芳、ml包的概述 ml包包括三個主要...
-
LightGBM On Spark
通常業(yè)務(wù)中對計算性能有要求時，通常不使用GPU跑tf直颅，會使用xgboost on Spark來解決博个，既保證速度，準(zhǔn)確率也能接受功偿。LightGBM是使用基于樹的學(xué)習(xí)算法的梯度增...
-
python 股票策略
1- 讀倉位信息： （1）先簡單存到dic中盆佣，時間是倒序，在構(gòu)造time_list中reverse即可（2） str,int轉(zhuǎn)換 int(''.join(str1.spli...
-
從120斤到95斤的經(jīng)驗分享文章分為五個部分： 1.寫在前面的話 2.120斤與95斤 3.減肥方法分析 4.飲食與運動（干貨） 5.寫在最后 一械荷、寫在前面的話 我一直覺得減肥是一件很私人的事情共耍。 瘦下...
-
評分卡的開發(fā)過程標(biāo)準(zhǔn)評分卡 評分卡的類型和目的 如今在銀行、消費金融公司等各種貸款業(yè)務(wù)機構(gòu)吨瞎，普遍使用信用評分痹兜，對客戶實行打分制，以期對客戶有一個優(yōu)質(zhì)與否的評判颤诀。但是不是所有人都知道信用評分卡...
-
機器學(xué)習(xí)概念回顧字旭、精確率、召回率崖叫、F1-score遗淳、準(zhǔn)確率、AUC心傀、ROC曲線很久沒有溫習(xí)機器學(xué)習(xí)的算法了洲脂，還是容易將一些基本的概念給弄混，那么本次回顧一下機器學(xué)習(xí)模型中的評估方式：對于回歸問題來說，我們能夠采用MSE恐锦、MAE往果、RMSE、R方的方式去衡...
-
bootstraping一铅、bagging陕贮、boosting三個算法的概念及區(qū)別
Bagging和Boosting都是將已有的分類或回歸算法通過一定方式組合起來，形成一個性能更加強大的分類器潘飘，更準(zhǔn)確的說這是一種分類算法的組裝方法肮之。即將弱分類器組裝成強分類器...
-
信用評分卡（A卡/B卡/C卡）的模型簡介及開發(fā)流程｜干貨
如今在銀行、消費金融公司等各種貸款業(yè)務(wù)機構(gòu)卜录，普遍使用信用評分戈擒，對客戶實行打分制，以期對客戶有一個優(yōu)質(zhì)與否的評判艰毒。但是不是所有人都知道信用評分卡還分A,B,C卡三類筐高！ A卡（A...
