來源:老顧聊技術(shù) 前言 在移動互聯(lián)網(wǎng)俭驮,分布式擂送、微服務(wù)盛行的今天,現(xiàn)在項(xiàng)目絕大部分都采用的微服務(wù)框架唯欣,前后端分離方式嘹吨, (題外話:前后端的工作職責(zé)越來越明確,現(xiàn)在的前端都稱之為...

來源:老顧聊技術(shù) 前言 在移動互聯(lián)網(wǎng)俭驮,分布式擂送、微服務(wù)盛行的今天,現(xiàn)在項(xiàng)目絕大部分都采用的微服務(wù)框架唯欣,前后端分離方式嘹吨, (題外話:前后端的工作職責(zé)越來越明確,現(xiàn)在的前端都稱之為...
一境氢、引言 隨著企業(yè)系統(tǒng)的發(fā)展蟀拷,應(yīng)用多采用分布式結(jié)構(gòu),嚴(yán)重依賴于網(wǎng)絡(luò)的穩(wěn)定性萍聊。但由于網(wǎng)絡(luò)天生的不穩(wěn)定性问芬,系統(tǒng)開發(fā)過程中需要考慮網(wǎng)絡(luò)不穩(wěn)定情況下如何保證應(yīng)用的魯棒性。 設(shè)置網(wǎng)絡(luò)超...
前言 dubbo框架與spring boot整合寿桨,不需要導(dǎo)入其他的包此衅,也不需要繁瑣的重復(fù)配置我這里使用的是idea+gradle4.8+spring boot2.x構(gòu)建本項(xiàng)目...
這章會利用maven進(jìn)行分模塊,并且引入dubbo和spring-boot亭螟,廢話不多說挡鞍,就開始一步步的搭建。 分模塊 首先新建一個maven項(xiàng)目(其實(shí)目前好像更流行用grad...
在前幾篇文章中掐隐,我們知道構(gòu)建一個spark應(yīng)用,必須要關(guān)注的幾個類: SparkSession程序入口類 Builder:SparkSession的一個內(nèi)部類钞馁,用于添加配置虑省,...
spark 2.X與1.x的區(qū)別 spark sql 2.x以上版本和1.x版本有個很大的區(qū)別:spark1.x的sqlContext在spark2.0中被整合到sparkS...
SparkSession是spark sql的入口類: 涉及到的這些類源碼需要掌握: 1.SparkSession 2.Builder 3.DataFrameReader:各...
在讀源碼的過程中,發(fā)現(xiàn)了System的一些使用僧凰,現(xiàn)記錄一下System類源碼及其主要作用探颈;System類代表系統(tǒng),系統(tǒng)級的很多屬性和控制方法都放置在該類的內(nèi)部训措。該類位于jav...
Kafka為一個分布式的消息隊(duì)列,spark流操作kafka有兩種方式:一種是利用接收器(receiver)和kafaka的高層API實(shí)現(xiàn)蓖康。一種是不利用接收器铐炫,直接用kafk...
一倒信、簡介 Spark SQL是Spark中處理結(jié)構(gòu)化數(shù)據(jù)的模塊。與基礎(chǔ)的Spark RDD API不同泳梆,Spark SQL的接口提供了更多關(guān)于數(shù)據(jù)的結(jié)構(gòu)信息和計(jì)算任務(wù)的運(yùn)行時...
1 實(shí)戰(zhàn)環(huán)境 使用Spark-Shell進(jìn)行練習(xí)竞穷,Spark-Shell就是一種特殊的SparkSubmit,所以如果你想要使用Spark-Submit的話就需要使用IDE開...
本文基于Spark2.1.0版本套用官文Tuning Spark中的一句話作為文章的標(biāo)題: *Often, choose a serialization type will ...