用兩個(gè)表（a_table迈喉、b_table）绍刮，關(guān)聯(lián)字段a_table.a_id和b_table.b_id來演示一下MySQL的內(nèi)連接、外連接（ 左(外)連接挨摸、右(外)連接孩革、全(...
發(fā)簡信
IP屬地：上海
-
圖解MySQL 內(nèi)連接葬项、外連接、左連接缘挑、右連接 -
java之super關(guān)鍵字一、基礎(chǔ)知識 1得运、super不是引用類型膝蜈，super中存儲的不是內(nèi)存地址锅移，super指向的不是父類對象 2、super指代的是當(dāng)前子類對象的父類特征 （如圖） 3饱搏、什么時(shí)候使...
-
淺析系統(tǒng)高可用
系統(tǒng)可用性 系統(tǒng)的可用性非剃，英文名字為 System Usability，即系統(tǒng)服務(wù)不中斷運(yùn)行時(shí)間占實(shí)際運(yùn)行時(shí)間的比例推沸。 所以备绽，可用性其實(shí)是一個(gè)百分比，如 99.9%鬓催。 我們通...
-
Java內(nèi)存模型是什么肺素？線程安全問題為什么會引發(fā)？近日宇驾，有熱心市民就 "Java內(nèi)存模型 " 提出質(zhì)疑： 線程是否會把所有需要操作的數(shù)據(jù)全加載到內(nèi)存 根據(jù)《我是憨包》可以看出倍靡，當(dāng)事人蛋蛋(化名)目前情緒穩(wěn)定，并且似乎已經(jīng)意識...
-
用awk和sed實(shí)現(xiàn)矩陣轉(zhuǎn)置
輸入矩陣：input.txt 利用awk和sed將矩陣轉(zhuǎn)置 代碼詳解： NF代表每一行的字段總數(shù)课舍，即列數(shù)塌西，在這里為4 2代表第二列 awk是按行讀取 讀取第一行， i=1筝尾，i...
-
04. 內(nèi)部類
04. 內(nèi)部類 1雨让、類的五大成員 屬性、構(gòu)造方法忿等、一般方法栖忠、塊、內(nèi)部類 這篇主要描寫內(nèi)部類贸街。 下面代碼演示類的結(jié)構(gòu)： 2庵寞、內(nèi)部類 內(nèi)部類分為4種：成員內(nèi)部類、靜態(tài)內(nèi)部類薛匪、匿名...
-
Spark Join 的三種方式
#Spark join的三種方式： 1.broadcast hash join：將其中一張較小的表通過廣播的方式捐川，由driver發(fā)送到各個(gè)executor，大表正常被分成多個(gè)...
-
互聯(lián)網(wǎng)安全協(xié)議IPsec-IPsec的工作模式學(xué)習(xí)《計(jì)算機(jī)網(wǎng)絡(luò)安全》 IPsec的工作模式 IPsec有兩種工作模式逸尖，即傳輸模式和隧道模式古沥。傳輸模式用來直接加密主機(jī)之間的網(wǎng)絡(luò)通信；隧道模式用來在兩個(gè)子網(wǎng)之間建造“虛擬隧道...
-
使用VTP批量傳遞VLAN
一娇跟、什么是VTP岩齿？VTP作用？如何配置苞俘？ 1）VTP：VLAN Trunking Protocol盹沈，VLAN中繼協(xié)議，也叫VLAN干道協(xié)議吃谣，思科私有協(xié)議乞封。 2）VTP作用是把...
-
累加器執(zhí)行的過程一做裙、過程概述1、Driver端(a)Driver端初始化構(gòu)建Accumulator并初始化肃晚、注冊（Accumulators.register(this)）(b)Accumul...
-
merge好像是自動完成的锚贱，這一點(diǎn)不理解，在代碼中如何實(shí)現(xiàn)的关串。
比如我在main函數(shù)中惋鸥，調(diào)用了add方法輸入數(shù)據(jù)，最后也調(diào)用了value打印累加器最終的value悍缠。但main中我沒有調(diào)用merge。merge是什么時(shí)候完成的耐量？Spark累加器（Accumulator）
什么是累加器 累加器：分布式共享只寫變量飞蚓。（Executor和Executor之間不能讀數(shù)據(jù)）累加器用來把Executor端變量信息聚合到Driver端。在Driver程序中...
-
Spark累加器（Accumulator）
什么是累加器 累加器：分布式共享只寫變量廊蜒。（Executor和Executor之間不能讀數(shù)據(jù)）累加器用來把Executor端變量信息聚合到Driver端趴拧。在Driver程序中...
-
【I/O】磁盤I/O 和 網(wǎng)絡(luò)IO的區(qū)別Linux 上 磁盤io 和 網(wǎng)絡(luò)io的區(qū)別是什么？ 磁盤IO和網(wǎng)絡(luò)IO是兩種不同的IO類型山叮，它們的區(qū)別如下： 磁盤IO：磁盤IO是指計(jì)算機(jī)系統(tǒng)中著榴，數(shù)據(jù)在磁盤和內(nèi)存之間的讀寫...
-
-
Spark學(xué)習(xí)筆記二：Spark Core一脑又、RDD RDD概念 RDD（Resilient Distributed Dateset）彈性分布式數(shù)據(jù)集 RDD的五大特性 RDD是由一系列的partition組成的。 ...
-
Spark性能調(diào)優(yōu)思路本文是作者在讀完《Apache Spark - Best practices and Tuning》以及《High Performance Spark》以后锐借，對如何編寫高效的...
-
MapPartition和Map的區(qū)別
MapPartition和Map的區(qū)別 在Spark和Flink中有map和mapPartitions算子问麸，處理數(shù)據(jù)上，有一些區(qū)別 主要區(qū)別： map是對rdd中的每一個(gè)元素...
-
Spark中map钞翔、mappartition严卖、foreach 以及 foreachpartition的區(qū)別和對比
在 Spark 性能調(diào)優(yōu)中，經(jīng)常會被建議盡量用 mappartition 操作去替代 map 操作布轿。本文將會對這一論斷背后的原因進(jìn)行闡述哮笆。 一、map 操作 V.S. m...
-
實(shí)力來自點(diǎn)點(diǎn)滴滴的積累，專注原創(chuàng)萝毛，分享大數(shù)據(jù)技術(shù)启具。
