一. 運(yùn)維 1. Master掛掉,standby重啟也失效 Master默認(rèn)使用512M內(nèi)存，當(dāng)集群中運(yùn)行的任務(wù)特別多時(shí)运杭，就會(huì)掛掉灾锯，原因是master會(huì)讀取每個(gè)task的e...
發(fā)簡(jiǎn)信
IP屬地：云南
-
Spark排錯(cuò)與優(yōu)化
-
pySpark 機(jī)器學(xué)習(xí)庫ml入門
在spark中提供了兩個(gè)機(jī)器學(xué)習(xí)庫mllib和ml绘雁，mllib的操作是基于RDD的笛粘，而ml則是基于DataFrame燃逻，是主流機(jī)器學(xué)習(xí)庫谈撒。 1、ml包的概述 ml包包括三個(gè)主要...
-
LightGBM On Spark
通常業(yè)務(wù)中對(duì)計(jì)算性能有要求時(shí)碎税，通常不使用GPU跑tf尤慰，會(huì)使用xgboost on Spark來解決，既保證速度雷蹂，準(zhǔn)確率也能接受伟端。LightGBM是使用基于樹的學(xué)習(xí)算法的梯度增...
-
python 股票策略
1- 讀倉位信息： （1）先簡(jiǎn)單存到dic中责蝠，時(shí)間是倒序，在構(gòu)造time_list中reverse即可（2） str,int轉(zhuǎn)換 int(''.join(str1.spli...
-
從120斤到95斤的經(jīng)驗(yàn)分享文章分為五個(gè)部分： 1.寫在前面的話 2.120斤與95斤 3.減肥方法分析 4.飲食與運(yùn)動(dòng)（干貨） 5.寫在最后 一、寫在前面的話 我一直覺得減肥是一件很私人的事情驳规。 瘦下...
-
評(píng)分卡的開發(fā)過程標(biāo)準(zhǔn)評(píng)分卡 評(píng)分卡的類型和目的 如今在銀行吗购、消費(fèi)金融公司等各種貸款業(yè)務(wù)機(jī)構(gòu)医男，普遍使用信用評(píng)分，對(duì)客戶實(shí)行打分制巩搏，以期對(duì)客戶有一個(gè)優(yōu)質(zhì)與否的評(píng)判。但是不是所有人都知道信用評(píng)分卡...
-
那個(gè)假正率的公司寫錯(cuò)了统屈！內(nèi)容不錯(cuò)
機(jī)器學(xué)習(xí)概念回顧、精確率牙躺、召回率愁憔、F1-score、準(zhǔn)確率孽拷、AUC吨掌、ROC曲線
很久沒有溫習(xí)機(jī)器學(xué)習(xí)的算法了，還是容易將一些基本的概念給弄混脓恕，那么本次回顧一下機(jī)器學(xué)習(xí)模型中的評(píng)估方式：對(duì)于回歸問題來說膜宋，我們能夠采用MSE、MAE炼幔、RMSE秋茫、R方的方式去衡...
-
機(jī)器學(xué)習(xí)概念回顧、精確率江掩、召回率学辱、F1-score、準(zhǔn)確率环形、AUC策泣、ROC曲線很久沒有溫習(xí)機(jī)器學(xué)習(xí)的算法了，還是容易將一些基本的概念給弄混抬吟，那么本次回顧一下機(jī)器學(xué)習(xí)模型中的評(píng)估方式：對(duì)于回歸問題來說萨咕，我們能夠采用MSE、MAE火本、RMSE危队、R方的方式去衡...
-
bootstraping、bagging钙畔、boosting三個(gè)算法的概念及區(qū)別
Bagging和Boosting都是將已有的分類或回歸算法通過一定方式組合起來茫陆，形成一個(gè)性能更加強(qiáng)大的分類器，更準(zhǔn)確的說這是一種分類算法的組裝方法擎析。即將弱分類器組裝成強(qiáng)分類器...
-
信用評(píng)分卡（A卡/B卡/C卡）的模型簡(jiǎn)介及開發(fā)流程｜干貨
如今在銀行簿盅、消費(fèi)金融公司等各種貸款業(yè)務(wù)機(jī)構(gòu)，普遍使用信用評(píng)分揍魂，對(duì)客戶實(shí)行打分制桨醋，以期對(duì)客戶有一個(gè)優(yōu)質(zhì)與否的評(píng)判。但是不是所有人都知道信用評(píng)分卡還分A,B,C卡三類现斋！ A卡（A...
-
-
XGBoost算法原理XGBoost是數(shù)據(jù)挖掘類競(jìng)賽中經(jīng)常使用的一大利器迷雪，它幫助選手在Kaggle、阿里天池大數(shù)據(jù)比賽等比賽取得了很好的成績(jī)遂鹊。XGBoost被很多人使用振乏，但很少人知道其原理，前幾天...
-
分享一套適合零基礎(chǔ)學(xué)習(xí)的高價(jià)值大數(shù)據(jù)資料（視頻+課件+筆記）
最近的整理的非常適合零基礎(chǔ)的同學(xué)學(xué)習(xí)的大數(shù)據(jù)資料，視頻+課件+源碼+筆記等等Ｖ勐健（內(nèi)附學(xué)習(xí)路線）误澳。 老樣子：獲取方式：轉(zhuǎn)發(fā)+私信小編（666）即可獲取秦躯！ 直接上干貨忆谓，從零基礎(chǔ)開...
-
如果你是程序員倡缠，或者有一顆喜歡寫程序的心，喜歡分享技術(shù)干貨茎活、項(xiàng)目經(jīng)驗(yàn)昙沦、程序員日常囧事等等，歡迎投稿《程序員》專題载荔。 專題主編：小彤花園 http://www.reibang.com/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.reibang.com/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章盾饮，但不限于技術(shù)，也可以是項(xiàng)目經(jīng)驗(yàn)類的文章和程序員日常懒熙。 2.文章內(nèi)不得有任何推廣信息丘损。包括但不限于公眾號(hào)、微博工扎、微信徘钥，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個(gè)人信息放在個(gè)人主頁介紹里肢娘。 3.字?jǐn)?shù)極少呈础，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄蔬浙，請(qǐng)確認(rèn)文章內(nèi)容和本專題相關(guān) 目前針對(duì)優(yōu)質(zhì)作者及愛好者猪落，開設(shè)了官方程序員微信群贞远，希望加入請(qǐng)發(fā)簡(jiǎn)信給主編小彤花園索取個(gè)人微信畴博，主編會(huì)將你加入到【程序員】微信群，分享內(nèi)容蓝仲，收獲知識(shí)俱病。添加微信時(shí)備注昵稱官疲。
