一. 運(yùn)維 1. Master掛掉,standby重啟也失效 Master默認(rèn)使用512M內(nèi)存楔敌，當(dāng)集群中運(yùn)行的任務(wù)特別多時(shí)缀踪，就會(huì)掛掉狂窑，原因是master會(huì)讀取每個(gè)task的e...
發(fā)簡(jiǎn)信
IP屬地：陜西
-
Spark排錯(cuò)與優(yōu)化
-
pySpark 機(jī)器學(xué)習(xí)庫(kù)ml入門(mén)
在spark中提供了兩個(gè)機(jī)器學(xué)習(xí)庫(kù)mllib和ml，mllib的操作是基于RDD的做盅，而ml則是基于DataFrame，是主流機(jī)器學(xué)習(xí)庫(kù)。 1阅茶、ml包的概述 ml包包括三個(gè)主要...
-
LightGBM On Spark
通常業(yè)務(wù)中對(duì)計(jì)算性能有要求時(shí)，通常不使用GPU跑tf谅海，會(huì)使用xgboost on Spark來(lái)解決脸哀，既保證速度，準(zhǔn)確率也能接受扭吁。LightGBM是使用基于樹(shù)的學(xué)習(xí)算法的梯度增...
-
python 股票策略
1- 讀倉(cāng)位信息： （1）先簡(jiǎn)單存到dic中侥袜，時(shí)間是倒序蝌诡，在構(gòu)造time_list中reverse即可（2） str,int轉(zhuǎn)換 int(''.join(str1.spli...
-
從120斤到95斤的經(jīng)驗(yàn)分享文章分為五個(gè)部分： 1.寫(xiě)在前面的話 2.120斤與95斤 3.減肥方法分析 4.飲食與運(yùn)動(dòng)（干貨） 5.寫(xiě)在最后 一浦旱、寫(xiě)在前面的話 我一直覺(jué)得減肥是一件很私人的事情。 瘦下...
-
評(píng)分卡的開(kāi)發(fā)過(guò)程標(biāo)準(zhǔn)評(píng)分卡 評(píng)分卡的類(lèi)型和目的 如今在銀行宣蠕、消費(fèi)金融公司等各種貸款業(yè)務(wù)機(jī)構(gòu)，普遍使用信用評(píng)分爷狈，對(duì)客戶實(shí)行打分制植影，以期對(duì)客戶有一個(gè)優(yōu)質(zhì)與否的評(píng)判。但是不是所有人都知道信用評(píng)分卡...
-
那個(gè)假正率的公司寫(xiě)錯(cuò)了！內(nèi)容不錯(cuò)
機(jī)器學(xué)習(xí)概念回顧捧挺、精確率虑绵、召回率、F1-score闽烙、準(zhǔn)確率翅睛、AUC、ROC曲線
很久沒(méi)有溫習(xí)機(jī)器學(xué)習(xí)的算法了黑竞，還是容易將一些基本的概念給弄混捕发，那么本次回顧一下機(jī)器學(xué)習(xí)模型中的評(píng)估方式：對(duì)于回歸問(wèn)題來(lái)說(shuō)，我們能夠采用MSE很魂、MAE扎酷、RMSE、R方的方式去衡...
-
機(jī)器學(xué)習(xí)概念回顧莫换、精確率霞玄、召回率、F1-score拉岁、準(zhǔn)確率坷剧、AUC、ROC曲線很久沒(méi)有溫習(xí)機(jī)器學(xué)習(xí)的算法了喊暖，還是容易將一些基本的概念給弄混惫企，那么本次回顧一下機(jī)器學(xué)習(xí)模型中的評(píng)估方式：對(duì)于回歸問(wèn)題來(lái)說(shuō)，我們能夠采用MSE、MAE狞尔、RMSE丛版、R方的方式去衡...
-
bootstraping、bagging偏序、boosting三個(gè)算法的概念及區(qū)別
Bagging和Boosting都是將已有的分類(lèi)或回歸算法通過(guò)一定方式組合起來(lái)页畦，形成一個(gè)性能更加強(qiáng)大的分類(lèi)器，更準(zhǔn)確的說(shuō)這是一種分類(lèi)算法的組裝方法研儒。即將弱分類(lèi)器組裝成強(qiáng)分類(lèi)器...
-
信用評(píng)分卡（A卡/B卡/C卡）的模型簡(jiǎn)介及開(kāi)發(fā)流程｜干貨
如今在銀行豫缨、消費(fèi)金融公司等各種貸款業(yè)務(wù)機(jī)構(gòu)，普遍使用信用評(píng)分端朵，對(duì)客戶實(shí)行打分制好芭，以期對(duì)客戶有一個(gè)優(yōu)質(zhì)與否的評(píng)判。但是不是所有人都知道信用評(píng)分卡還分A,B,C卡三類(lèi)冲呢！ A卡（A...
-
-
XGBoost算法原理XGBoost是數(shù)據(jù)挖掘類(lèi)競(jìng)賽中經(jīng)常使用的一大利器，它幫助選手在Kaggle乘凸、阿里天池大數(shù)據(jù)比賽等比賽取得了很好的成績(jī)弛说。XGBoost被很多人使用，但很少人知道其原理翰意，前幾天...
-
分享一套適合零基礎(chǔ)學(xué)習(xí)的高價(jià)值大數(shù)據(jù)資料（視頻+課件+筆記）
最近的整理的非常適合零基礎(chǔ)的同學(xué)學(xué)習(xí)的大數(shù)據(jù)資料冀偶，視頻+課件+源碼+筆記等等！（內(nèi)附學(xué)習(xí)路線）渔嚷。 老樣子：獲取方式：轉(zhuǎn)發(fā)+私信小編（666）即可獲冉！ 直接上干貨形病，從零基礎(chǔ)開(kāi)...
-
如果你是程序員漠吻，或者有一顆喜歡寫(xiě)程序的心量瓜，喜歡分享技術(shù)干貨、項(xiàng)目經(jīng)驗(yàn)途乃、程序員日常囧事等等绍傲，歡迎投稿《程序員》專(zhuān)題。 專(zhuān)題主編：小彤花園 http://www.reibang.com/users/4a4eb4feee62/ 【程序員】專(zhuān)題拒稿指北：http://www.reibang.com/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章，但不限于技術(shù)烫饼，也可以是項(xiàng)目經(jīng)驗(yàn)類(lèi)的文章和程序員日常猎塞。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號(hào)杠纵、微博荠耽、微信，更不得在通過(guò)投稿后再修改文章加入推廣信息比藻。你可以將這些推廣以及個(gè)人信息放在個(gè)人主頁(yè)介紹里铝量。 3.字?jǐn)?shù)極少，段落混亂韩容，大段代碼沒(méi)有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄款违，請(qǐng)確認(rèn)文章內(nèi)容和本專(zhuān)題相關(guān) 目前針對(duì)優(yōu)質(zhì)作者及愛(ài)好者，開(kāi)設(shè)了官方程序員微信群群凶，希望加入請(qǐng)發(fā)簡(jiǎn)信給主編小彤花園索取個(gè)人微信插爹，主編會(huì)將你加入到【程序員】微信群，分享內(nèi)容请梢，收獲知識(shí)赠尾。添加微信時(shí)備注昵稱(chēng)。
