240 發(fā)簡信
IP屬地：江西
  • SPARK[RDD之轉(zhuǎn)換函數(shù)]

    前面講到了RDD的分區(qū)昼汗、RDD的創(chuàng)建府喳，這節(jié)將講解RDD的轉(zhuǎn)換撵渡，RDD的轉(zhuǎn)換就是從父RDD生成一個新的RDD果元，新的RDD分區(qū)可能和父RDD一致也可能不再一致生兆。常用的轉(zhuǎn)換函數(shù): ...

  • SPARK[RDD之創(chuàng)建函數(shù)]

    RDD的創(chuàng)建大多數(shù)情況下是從hdfs文本來的卧斟，當(dāng)然也可以從其他組件接入進(jìn)來链烈，如kafka、hbase等渊季，后續(xù)介紹 創(chuàng)建類型： 1朋蔫、文本類型沒有指定分區(qū)個數(shù)的罚渐，如果是hdfs則...

  • SPARK[RDD之分區(qū)函數(shù)]

    rdd的計算都是以partiotion為單元的却汉，這些分區(qū)的轉(zhuǎn)換函數(shù)(見后面的章節(jié))不會直接返回結(jié)果驯妄。當(dāng)出現(xiàn)collect,count,toList,print才會真正執(zhí)行。 ...

  • SPARK[RDD之partitions]

    RDD是容錯合砂、并行的數(shù)據(jù)結(jié)構(gòu)青扔，具備分區(qū)的屬性，這個分區(qū)可以是單機(jī)上分區(qū)也可以是多機(jī)上的分區(qū)翩伪，對于RDD分區(qū)的數(shù)量涉及到這個RDD進(jìn)行并發(fā)計算的粒度微猖。每一個分區(qū)都會在一個單獨的...

  • SPARK[RDD之dependencies]

    Resilient Distributed Datasets [r?'z?l??nt] 準(zhǔn)確翻譯為 容錯的 并行的 數(shù)據(jù)結(jié)構(gòu) 而不是彈性分布式數(shù)據(jù)集合RDD提供了豐富的集合...

  • SPARK[star]

    AMPAlgorithms 算法Machines 機(jī)器people 人 spark較mapreduce快100倍的原因：內(nèi)存數(shù)據(jù)、調(diào)度優(yōu)化缘屹、傳輸優(yōu)化凛剥、DAG執(zhí)行引擎。 一...

  • 120
    HBASE[3]建表考慮

    hbase建表在hbase中的表轻姿，表大小可以使10億行和數(shù)百萬個列犁珠，存儲量是其他任何radbms無法比擬的，查詢更新等待時間并絲毫不比radbms慢互亮，反而會快的很多犁享。當(dāng)然缺點...

  • MapReduce

    OLTP On-Line Transaction ProcessingOLAP On-Line Analytical Processing在定時任務(wù)OLAP中，我們也需要做優(yōu)...

  • HBASE[2]高級特性

    wait ..

  • 120
    HDFS

    HDFS是HADOOP的分布式文件系統(tǒng)豹休，它的設(shè)計目標(biāo)是存儲海量數(shù)據(jù)炊昆，為網(wǎng)絡(luò)中的大量客戶端提供數(shù)據(jù)訪問。 在hdfs中單個文件被拆分多個固定大小的blo...

  • 120
    MySql高效應(yīng)用(1)

    客戶端 -->解析優(yōu)化-->緩存-->存儲引擎 并發(fā)控制 1威根、串行(隊列)執(zhí)行2凤巨、讀(共享鎖) 寫(排他鎖)鎖 鎖粒度 1、表鎖2洛搀、行鎖 行鎖實現(xiàn)層在存儲引擎上敢茁，mysql不...

  • 責(zé)任鏈模式

    當(dāng)一個web請求到達(dá)的時候卷要，去執(zhí)行邏輯1，得到結(jié)果1独榴；再根據(jù)結(jié)果1僧叉，執(zhí)行邏輯2，得到結(jié)果2棺榔，……依次執(zhí)行瓶堕，最后得到結(jié)果N，也就是最終結(jié)果症歇。 而具體到這個軟件產(chǎn)品中郎笆，將具體要執(zhí)...

  • 策略模式

    假設(shè)現(xiàn)在要設(shè)計一個販賣各類書籍的電子商務(wù)網(wǎng)站的購物車系統(tǒng)谭梗。一個最簡單的情況就是把所有貨品的單價乘上數(shù)量，但是實際情況肯定比這要復(fù)雜宛蚓。比如激捏，本網(wǎng)站可能對所有的高級會員提供每本2...

  • invoke過程

    反射(Reflection)是Java 程序開發(fā)語言的特征之一，它允許運行中的 Java 程序獲取自身的信息凄吏，并且可以操作類或?qū)ο蟮膬?nèi)部屬性远舅。 程序中對象的類型都是在編譯期就...

  • 橋接模式深入理解

    橋接模式是一種結(jié)構(gòu)型模式，它主要應(yīng)對的是：由于實際的需要痕钢，某個類具有兩個或兩個以上的維度變化图柏，如果只是用繼承將無法實現(xiàn)這種需要，或會使得設(shè)計變得相當(dāng)臃腫任连。 橋接模式的做法是把...

  • native關(guān)鍵字

    簡單地講蚤吹，一個Native Method就是一個java調(diào)用非java代碼的接口。一個Native Method是這樣一個java的方法：該方法的實現(xiàn)由非java語言實現(xiàn)随抠，比...

  • What does the sun.reflect.CallerSensitive annotation mean?

    在class.forName(String)中： Reflection.getCallerClass()返回調(diào)用此方法的方法調(diào)用者的類裁着，忽略關(guān)聯(lián)的框架及其實現(xiàn)。JVM將跟蹤這...

亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品