35篇文章 · 37588字 · 11人關(guān)注
-
Spark從入門(mén)到精通35：在eclipse中直接使用spark-submit提交Spark任務(wù)
通常在開(kāi)發(fā)Spark任務(wù)的時(shí)候啄栓，都是先在本地主機(jī)的IDE中開(kāi)發(fā)完Spark任務(wù)嘹吨，然后上傳到Spark集群，最后通過(guò)命令行提交并運(yùn)行趣倾，這樣很不方便...
-
Spark從入門(mén)到精通34：在Jupyter Notebook中使用pyspark
1.安裝spark 2.安裝anaconda 3.在Jupyter Notebook中使用pyspark PYSPARK_DRIVER_PYTH...
-
Spark從入門(mén)到精通33：編譯Spark源碼以支持Hive
Spark官網(wǎng)提供的原生的安裝包不支持Hive僧诚，但是我們可以使用Spark官網(wǎng)提供的Spark源碼包編譯成支持Hive的安裝包來(lái)使用。 本節(jié)實(shí)驗(yàn)...
-
Spark從入門(mén)到精通32：SparkStreaming的窗口操作
SparkStreaming提供的窗口計(jì)算功能锦援，允許在數(shù)據(jù)的滑動(dòng)窗口上應(yīng)用轉(zhuǎn)換操作猛蔽。本節(jié)就來(lái)介紹SparkStreaming的窗口操作的知識(shí)。 ...
-
Spark從入門(mén)到精通31：DStream對(duì)象詳解Spark Streaming就是將連續(xù)的數(shù)據(jù)流切分成離散的數(shù)據(jù)流灵寺，即DStream曼库。本節(jié)就來(lái)介紹DStream的詳細(xì)知識(shí)。 1.什么是DStr...
-
Spark從入門(mén)到精通30：StreamingContext對(duì)象詳解
Spark StreamingContext對(duì)象（簡(jiǎn)寫(xiě)為ssc）是SparkStreaming的上下文對(duì)象略板，非常重要毁枯。本節(jié)就來(lái)介紹一下Strea...
-
Spark從入門(mén)到精通29：SparkStreaming開(kāi)發(fā)NetworkWordCount程序本節(jié)介紹如何在IDEA上使用SparkStreaming開(kāi)發(fā)一個(gè)NetworkWordCount程序。 1.下載Spark安裝目錄下的所有Jar...
-
Spark從入門(mén)到精通28：Spark Streaming簡(jiǎn)介1.什么是Spark Streaming Spark Streaming是在Spark Core API的基礎(chǔ)上叮称，實(shí)現(xiàn)的可擴(kuò)展种玛、高吞吐、可容錯(cuò)的...
-
Spark從入門(mén)到精通27：Spark SQL之性能優(yōu)化1.將數(shù)據(jù)緩存到內(nèi)存 性能調(diào)優(yōu)主要是將數(shù)據(jù)放入內(nèi)存中瓤檐，以加快處理數(shù)據(jù)的速度赂韵。通過(guò)spark.cacheTable(“tableName”)或者d...
