任務(wù)描述 kaggle 案例 california-housing-priceshttps://www.kaggle.com/camnugent/california-hou...
發(fā)簡(jiǎn)信
IP屬地：北京
-
一次完整的數(shù)據(jù)挖掘的過(guò)程 -
圖解精度和召回率下面這個(gè)圖表示了精度和召回率這兩個(gè)指標(biāo)，主要用在于分類問(wèn)題中拟赊。 例如有一個(gè)二分類問(wèn)題的算法。 圖中的圓圈里面代表算法判定為正的一些樣本匈睁。 圓圈的外面代表算法判定為負(fù)的一些樣本...
-
《使用Ambari搭建hadoop技術(shù)棧集群》一. 背景 hdfs,map-reduce,spark,yarn是大數(shù)據(jù)處理的基礎(chǔ)組件。在發(fā)展了幾年之后桶错，已經(jīng)成為了比較通用的數(shù)據(jù)處理工具航唆。記得幾年前搭建hadoop這一套需...
-
Spark Pair RDD基本操作Pair RDD基本操作 雖然大部分Spark的RDD操作都支持所有種類的對(duì)象，但是有少部分特殊的操作只能作用于鍵值對(duì)類型的RDD院刁。這類操作中最常見(jiàn)的就是分布的shuffle...
-
CentOS下安裝hadoop
CentOS下安裝hadoop 用戶配置 添加用戶 權(quán)限配置 關(guān)閉防火墻 查看防火墻狀態(tài) 關(guān)閉防火墻 查看防火墻開(kāi)機(jī)啟動(dòng)狀態(tài) 關(guān)閉防火墻開(kāi)機(jī)啟動(dòng) 安裝JDK1.7 卸載系統(tǒng)自...
-
Spark學(xué)習(xí)
Spark學(xué)習(xí) 一糯钙、Spark簡(jiǎn)介 1.Hadoop中Map-Reduce計(jì)算框架的替代品 2.運(yùn)行在HDFS上，可以與Yarn配合 3.將中間結(jié)果保存在內(nèi)存而不是磁盤(pán)中 4...
-
Spark Streaming 流式計(jì)算實(shí)戰(zhàn)這篇文章由一次平安夜的微信分享整理而來(lái)退腥。在Stuq 做的分享任岸，原文內(nèi)容。 業(yè)務(wù)場(chǎng)景 這次分享會(huì)比較實(shí)戰(zhàn)些狡刘。具體業(yè)務(wù)場(chǎng)景描述： 我們每分鐘會(huì)有幾百萬(wàn)條的日志進(jìn)入系統(tǒng)享潜，我們希望根...
-
Spark Streaming 的玫瑰與刺
前言 說(shuō)人話：其實(shí)就是講Spark Streaming 的好處與坑。好處主要從一些大的方面講嗅蔬，坑則是從實(shí)際場(chǎng)景中遇到的一些小細(xì)節(jié)描述剑按。 玫瑰篇 玫瑰篇主要是說(shuō)Spark St...
