IF...ELSE 語句 簡介 ??Scala IF...ELSE 語句是通過一條或多條語句的執(zhí)行結(jié)果（True或者False）來決定執(zhí)行的代碼塊。 ??可以通過下圖來簡單了...
發(fā)簡信
IP屬地：北京
-
4.程序控制語句 -
3.包和引入
包的作用和定義 同java中的包,Scala中的包主要用于大型工程代碼的組織同時也解決命名沖突的問題姆打。Scala中的包與java有著諸多的相似之處沧卢，但Scala語言中的包更加...
-
2.數(shù)據(jù)類型簡介 ??Scala的基本數(shù)據(jù)類型與Java中的基本數(shù)據(jù)類型是一一對應(yīng)的，不同的是Scala的基本數(shù)據(jù)類型頭字母必須大寫嫩实。 類型變量定義 整數(shù)類型變量定義 浮點類型變量定義 ...
-
1.初識scala簡介 ??Scala(Scala Language的簡稱)語言是一種能夠運行于JVM和.Net平臺之上的通用編程語言刽辙，既可用于大規(guī)模應(yīng)用程序開發(fā)，也可用于腳本編程甲献。 ??Sc...
-
14.spark mllib之快速入門
簡介 MLlib是Spark提供提供機器學(xué)習(xí)的庫宰缤，專為在集群上并行運行的情況而設(shè)計。MLlib包含很多機器學(xué)習(xí)算法晃洒，可在Spark支持的所有編程語言中使用慨灭。 MLlib設(shè)計理...
-
13.spark streaming之快速入門簡介 ??Spark Streaming是Spark核心API的擴展，可以實現(xiàn)可伸縮球及、高吞吐量氧骤、具備容錯機制的實時流時數(shù)據(jù)的處理。支持多種數(shù)據(jù)源吃引，比如Kafka筹陵、Flume、...
-
12.spark sql之讀寫數(shù)據(jù)
簡介 ??Spark SQL支持多種結(jié)構(gòu)化數(shù)據(jù)源镊尺，輕松從各種數(shù)據(jù)源中讀取Row對象朦佩。這些數(shù)據(jù)源包括Parquet、JSON鹅心、Hive表及關(guān)系型數(shù)據(jù)庫等吕粗。 ??當(dāng)只使用一部分字...
-
11.spark sql之RDD轉(zhuǎn)換DataSet
簡介 ??Spark SQL提供了兩種方式用于將RDD轉(zhuǎn)換為Dataset。 使用反射機制推斷RDD的數(shù)據(jù)結(jié)構(gòu) ??當(dāng)spark應(yīng)用可以推斷RDD數(shù)據(jù)結(jié)構(gòu)時旭愧，可使用這種方式颅筋。...
-
10.spark sql之快速入門
前世今生 Hive&Shark ??隨著大數(shù)據(jù)時代的來臨，Hadoop風(fēng)靡一時输枯。為了使熟悉RDBMS但又不理解MapReduce的技術(shù)人員快速進行大數(shù)據(jù)開發(fā)议泵，Hive應(yīng)運而生...
-
9.spark core之共享變量簡介 ??spark執(zhí)行操作時，可以使用驅(qū)動器程序Driver中定義的變量桃熄，但有時這種默認(rèn)的使用方式卻并不理想先口。 集群中運行的每個任務(wù)都會連接驅(qū)動器獲取變量型奥。如果獲取的變量比...
-
JavaScript基礎(chǔ)入門教程概述 簡介 ??JavaScript是一種輕量級的腳本語言,是可插入HTML頁面的編程代碼。JavaScript插入HTML頁面后碉京，由所有的現(xiàn)代瀏覽器執(zhí)行厢汹。 組成部分 ECM...
-
玩轉(zhuǎn)大數(shù)據(jù)
-
3.spark運行模式
spark支持的運行模式：本地模式烫葬、本地集群模式、standalone模式凡蜻、yarn模式及mesos模式搭综。 本地模式 local、local[N]或local[N,maxRe...
-
2.spark基本概念
Application 用戶編寫的Spark應(yīng)用程序划栓。Application的main方法為應(yīng)用程序的入口兑巾，用戶通過Spark的API，定義了RDD和對RDD的操作忠荞。 Job...
-
1.spark簡介
spark是一個用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一計算引擎蒋歌。適用于各種各樣原先需要多種不同的分布式平臺處理的場景，包括批處理委煤、迭代計算奋姿、交互式查詢、流處理素标。通過統(tǒng)一的框架將各種處理流程...
-
8.spark core之讀寫數(shù)據(jù)
??spark支持多種數(shù)據(jù)源称诗，從總體來分分為兩大部分：文件系統(tǒng)和數(shù)據(jù)庫。 文件系統(tǒng) ??文件系統(tǒng)主要有本地文件系統(tǒng)头遭、Amazon S3寓免、HDFS等。 ??文件系統(tǒng)中存儲的文件...
-
個人網(wǎng)站 : http://www.xcan.top 個人店鋪: 鞋盒: https://shop117015562.taobao.com/ 男裝: https://shop469108515.taobao.com/ Hadoop,Hbase,Hive,Spark,Apache Kafka,Apache Storm,Map reduce,SQOOP,Zookeeper
-
大數(shù)據(jù)蜈首，數(shù)據(jù)庫，AI, sql等
-
大數(shù)據(jù)，收錄大數(shù)據(jù)相關(guān)技術(shù)的文章赏淌。
-
7.spark core之?dāng)?shù)據(jù)分區(qū)
簡介 ??spark一個最重要的特性就是對數(shù)據(jù)集在各個節(jié)點的分區(qū)進行控制踩寇。控制數(shù)據(jù)分布可以減少網(wǎng)絡(luò)開銷六水，極大地提升整體性能俺孙。??只有Pair RDD才有分區(qū)辣卒，非Pair RD...
個人介紹