一. 運(yùn)維 1. Master掛掉,standby重啟也失效 Master默認(rèn)使用512M內(nèi)存介杆，當(dāng)集群中運(yùn)行的任務(wù)特別多時(shí)，就會(huì)掛掉冶伞，原因是master會(huì)讀取每個(gè)task的e...
發(fā)簡(jiǎn)信
IP屬地：天津
-
Spark排錯(cuò)與優(yōu)化
-
pySpark 機(jī)器學(xué)習(xí)庫(kù)ml入門
在spark中提供了兩個(gè)機(jī)器學(xué)習(xí)庫(kù)mllib和ml，mllib的操作是基于RDD的鞠值，而ml則是基于DataFrame引几，是主流機(jī)器學(xué)習(xí)庫(kù)芭毙。 1逃魄、ml包的概述 ml包包括三個(gè)主要...
-
LightGBM On Spark
通常業(yè)務(wù)中對(duì)計(jì)算性能有要求時(shí)荤西，通常不使用GPU跑tf，會(huì)使用xgboost on Spark來(lái)解決伍俘，既保證速度邪锌，準(zhǔn)確率也能接受。LightGBM是使用基于樹(shù)的學(xué)習(xí)算法的梯度增...
-
python 股票策略
1- 讀倉(cāng)位信息： （1）先簡(jiǎn)單存到dic中，時(shí)間是倒序妨退，在構(gòu)造time_list中reverse即可（2） str,int轉(zhuǎn)換 int(''.join(str1.spli...
-
從120斤到95斤的經(jīng)驗(yàn)分享文章分為五個(gè)部分： 1.寫在前面的話 2.120斤與95斤 3.減肥方法分析 4.飲食與運(yùn)動(dòng)（干貨） 5.寫在最后 一、寫在前面的話 我一直覺(jué)得減肥是一件很私人的事情嚣伐。 瘦下...
-
評(píng)分卡的開(kāi)發(fā)過(guò)程標(biāo)準(zhǔn)評(píng)分卡 評(píng)分卡的類型和目的 如今在銀行轩端、消費(fèi)金融公司等各種貸款業(yè)務(wù)機(jī)構(gòu)，普遍使用信用評(píng)分逝变，對(duì)客戶實(shí)行打分制基茵，以期對(duì)客戶有一個(gè)優(yōu)質(zhì)與否的評(píng)判。但是不是所有人都知道信用評(píng)分卡...
-
那個(gè)假正率的公司寫錯(cuò)了！內(nèi)容不錯(cuò)
機(jī)器學(xué)習(xí)概念回顧沙绝、精確率搏明、召回率、F1-score闪檬、準(zhǔn)確率星著、AUC、ROC曲線
很久沒(méi)有溫習(xí)機(jī)器學(xué)習(xí)的算法了粗悯，還是容易將一些基本的概念給弄混强饮，那么本次回顧一下機(jī)器學(xué)習(xí)模型中的評(píng)估方式：對(duì)于回歸問(wèn)題來(lái)說(shuō)，我們能夠采用MSE为黎、MAE邮丰、RMSE、R方的方式去衡...
-
機(jī)器學(xué)習(xí)概念回顧铭乾、精確率剪廉、召回率、F1-score炕檩、準(zhǔn)確率斗蒋、AUC捌斧、ROC曲線很久沒(méi)有溫習(xí)機(jī)器學(xué)習(xí)的算法了，還是容易將一些基本的概念給弄混泉沾，那么本次回顧一下機(jī)器學(xué)習(xí)模型中的評(píng)估方式：對(duì)于回歸問(wèn)題來(lái)說(shuō)捞蚂，我們能夠采用MSE、MAE跷究、RMSE姓迅、R方的方式去衡...
-
bootstraping、bagging俊马、boosting三個(gè)算法的概念及區(qū)別
Bagging和Boosting都是將已有的分類或回歸算法通過(guò)一定方式組合起來(lái)丁存，形成一個(gè)性能更加強(qiáng)大的分類器，更準(zhǔn)確的說(shuō)這是一種分類算法的組裝方法柴我。即將弱分類器組裝成強(qiáng)分類器...
-
信用評(píng)分卡（A卡/B卡/C卡）的模型簡(jiǎn)介及開(kāi)發(fā)流程｜干貨
如今在銀行解寝、消費(fèi)金融公司等各種貸款業(yè)務(wù)機(jī)構(gòu)，普遍使用信用評(píng)分艘儒，對(duì)客戶實(shí)行打分制聋伦，以期對(duì)客戶有一個(gè)優(yōu)質(zhì)與否的評(píng)判。但是不是所有人都知道信用評(píng)分卡還分A,B,C卡三類界睁！ A卡（A...
-
-
XGBoost算法原理XGBoost是數(shù)據(jù)挖掘類競(jìng)賽中經(jīng)常使用的一大利器，它幫助選手在Kaggle杨赤、阿里天池大數(shù)據(jù)比賽等比賽取得了很好的成績(jī)敞斋。XGBoost被很多人使用，但很少人知道其原理疾牲，前幾天...
-
分享一套適合零基礎(chǔ)學(xué)習(xí)的高價(jià)值大數(shù)據(jù)資料（視頻+課件+筆記）
最近的整理的非常適合零基礎(chǔ)的同學(xué)學(xué)習(xí)的大數(shù)據(jù)資料阳柔，視頻+課件+源碼+筆記等等Ｑ媸唷（內(nèi)附學(xué)習(xí)路線）。 老樣子：獲取方式：轉(zhuǎn)發(fā)+私信小編（666）即可獲壬嗉痢济锄！ 直接上干貨，從零基礎(chǔ)開(kāi)...
-
如果你是程序員，或者有一顆喜歡寫程序的心避消，喜歡分享技術(shù)干貨低滩、項(xiàng)目經(jīng)驗(yàn)召夹、程序員日常囧事等等，歡迎投稿《程序員》專題恕沫。 專題主編：小彤花園 http://www.reibang.com/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.reibang.com/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章监憎，但不限于技術(shù)，也可以是項(xiàng)目經(jīng)驗(yàn)類的文章和程序員日常婶溯。 2.文章內(nèi)不得有任何推廣信息鲸阔。包括但不限于公眾號(hào)、微博爬虱、微信隶债，更不得在通過(guò)投稿后再修改文章加入推廣信息腾它。你可以將這些推廣以及個(gè)人信息放在個(gè)人主頁(yè)介紹里跑筝。 3.字?jǐn)?shù)極少，段落混亂瞒滴，大段代碼沒(méi)有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄曲梗，請(qǐng)確認(rèn)文章內(nèi)容和本專題相關(guān) 目前針對(duì)優(yōu)質(zhì)作者及愛(ài)好者，開(kāi)設(shè)了官方程序員微信群妓忍，希望加入請(qǐng)發(fā)簡(jiǎn)信給主編小彤花園索取個(gè)人微信虏两，主編會(huì)將你加入到【程序員】微信群，分享內(nèi)容世剖，收獲知識(shí)定罢。添加微信時(shí)備注昵稱。
