阿里云官網(wǎng)內(nèi)容平臺(tái)锡垄！匯聚阿里云優(yōu)質(zhì)內(nèi)容（入門驱闷、文檔逆害、案例雇毫、最佳實(shí)踐恒界、直播等）桨啃！如需轉(zhuǎn)載或內(nèi)容類合作车胡，郵件yqgroup@service.aliyun.com 秒級(jí)回復(fù)！<br>
發(fā)簡(jiǎn)信
IP屬地：上海
-
-
spark讀取oracle數(shù)據(jù)調(diào)優(yōu)
使用spark自帶的上下界限來分區(qū)的不均勻性導(dǎo)致傳輸慢(木桶效應(yīng)): oracle結(jié)合分頁查詢防數(shù)據(jù)傳輸傾斜: 下面這種寫法基本是串行的沒有充分利用集群的處理能力,但是感覺要...
-
scala幾個(gè)關(guān)鍵詞
public/private/protected的具體區(qū)別: 在說明這四個(gè)關(guān)鍵字之前簇搅，先對(duì)class之間的關(guān)系做一個(gè)簡(jiǎn)單的定義，對(duì)于繼承自己的class软吐，base class...
-
抽象數(shù)據(jù)類型ADT
抽象數(shù)據(jù)類型ADT是指一些數(shù)據(jù)以及對(duì)這些數(shù)據(jù)所進(jìn)行的操作的集合瘩将。這些操作可以描述數(shù)據(jù)是怎么樣的也可以允許程序通過這些操作去修改這些數(shù)據(jù)。 不要讓ADT依賴于其存儲(chǔ)介質(zhì)，盡量讓...
-
解題與設(shè)計(jì)
如果你直接解決不出來提出的這個(gè)問題姿现，那么試著先去解決一些相關(guān)的問題肠仪。你能設(shè)想出一個(gè)更容易解決的與此有關(guān)的問題嗎？一個(gè)更一般的問題备典？一個(gè)更特殊的問題异旧？一個(gè)類似的問題？你能解決這...
-
架構(gòu)的典型組成部分
程序組織: 系統(tǒng)架構(gòu)首先要以概括的形式對(duì)有關(guān)系統(tǒng)做一個(gè)綜述提佣，如果沒有綜述吮蛹，要想將成千上萬的局部圖片(或十多個(gè)單獨(dú)的類)拼為一副完整的圖畫是相當(dāng)傷腦筋的，如果你不能將它們拼接起...
-
什么是軟件架構(gòu)
開發(fā)過程中的各種不同活動(dòng): 定義問題 需求分析 規(guī)劃構(gòu)建 軟件架構(gòu)(高層設(shè)計(jì)) 詳細(xì)設(shè)計(jì) 編碼與調(diào)試 單元測(cè)試 集成測(cè)試 集成 系統(tǒng)測(cè)試 保障維護(hù) 構(gòu)建活動(dòng)中的基本任務(wù): 驗(yàn)...
-
需求核對(duì)表
針對(duì)功能的需求: 1.是否定義了系統(tǒng)的全部輸入拌屏，包括來源潮针，精度，取值范圍槐壳，出現(xiàn)頻率等然低？ 2.是否定義了系統(tǒng)全部的輸出喜每，包括目的地务唐，精度，取值范圍带兜，出現(xiàn)頻率枫笛，格式等？ 3.是否...
-
hadoop基本配置
core-site.xml: <configuration> <name>fs.defaultFS</name> <value>hdfs://node1:9000</valu...
-
最近也在研究這個(gè),請(qǐng)問一下"spark.task.maxFailures=1, Task重試次數(shù)為1，即不重試" 那么如果這個(gè)task失敗了,豈不是沒有把這部分?jǐn)?shù)據(jù)進(jìn)行處理无畔，或者說筆者是特地把這個(gè)參數(shù)設(shè)置為1啊楚，任務(wù)一旦失敗,offset其實(shí)是沒有改動(dòng)的,也就是說下次還是讀取這個(gè)offerset,這部分?jǐn)?shù)據(jù)還是會(huì)處理？
spark-streaming-kafka之createDirectStream模式
完整工程用例 最近一直在用directstream方式消費(fèi)kafka中的數(shù)據(jù)浑彰，特此總結(jié)恭理，整個(gè)代碼工程分為三個(gè)部分一. 完整工程代碼如下(某些地方特意做了說明, 這個(gè)代碼的部...
-
專注于spark相關(guān)內(nèi)容分享颜价，github相關(guān)資料整理：https://github.com/jacksu/utils4s
