240 發(fā)簡信
IP屬地:北京
  • hive語句大全

    hive數(shù)據(jù)庫是hdfs上的文件夾翻擒,表也是文件夾,表里的數(shù)據(jù)是文件hive建表create table t_student(id string,name string,age...

  • 120
    黑蘋果10.15.0安裝

    下載鏡像 可以在黑果小兵平臺渊抽,遠(yuǎn)景論壇等平臺了解黑蘋果相關(guān)。首先下載macOS鏡像和相關(guān)黑蘋果鏡像制作议忽,百度鏈接地址如下鏈接:https://pan.baidu.com/s/...

  • spark參數(shù)

    Driver spark.driver.cores driver端分配的核數(shù)懒闷,默認(rèn)為1,thriftserver是啟動thriftserver服務(wù)的機(jī)器栈幸,資源充足的話可以盡量...

  • 120
    Hbase原理

    系統(tǒng)架構(gòu)圖 從HBase的架構(gòu)圖上可以看出愤估,HBase中的組件包括Client、Zookeeper速址、HMaster玩焰、HRegionServer、HRegion芍锚、Store昔园、M...

  • hive數(shù)據(jù)傾斜原因解決方法

    Hive傾斜之group by聚合傾斜 原因: 分組的維度過少,每個(gè)維度的值過多并炮,導(dǎo)致處理某值的reduce耗時(shí)很久默刚; 對一些類型統(tǒng)計(jì)的時(shí)候某種類型的數(shù)據(jù)量特別多,其他的數(shù)據(jù)...

  • 120
    spark開發(fā)調(diào)優(yōu)

    1. 避免重復(fù)創(chuàng)建RDD 通常來說逃魄,我們在開發(fā)一個(gè)Spark作業(yè)時(shí)荤西,首先是基于某個(gè)數(shù)據(jù)源(比如Hive表或HDFS文件)創(chuàng)建一個(gè)初始的RDD;接著對這個(gè)RDD執(zhí)行某個(gè)算子操作...

  • 120
    spark廣播變量累加器

    背景 在spark程序中嗅钻,當(dāng)一個(gè)傳遞給Spark操作(例如map和reduce)的函數(shù)在遠(yuǎn)程節(jié)點(diǎn)上面運(yùn)行時(shí)皂冰,Spark操作實(shí)際上操作的是這個(gè)函數(shù)所用變量的一個(gè)獨(dú)立副本。這些變...

  • 120
    spark運(yùn)行流程

    spark中基本概念 Application:表示你的應(yīng)用程序 Driver:表示main()函數(shù)养篓,創(chuàng)建SparkContext秃流。由SparkContext負(fù)責(zé)與Cluste...

  • 120
    RDD與算子

    什么是RDD RDD(Resilient Distributed Dataset)叫做彈性分布式數(shù)據(jù)集,是Spark中最基本的數(shù)據(jù)抽象柳弄,它代表一個(gè)不可變舶胀、可分區(qū)概说、里面的元素可...

  • VMware安裝

    vim /etc/sudoers 添加sudo權(quán)限 adduser 添加用戶passwd 修改密碼 sudo vim /etc/sysconfig/network 修改名...

  • Git使用

    主分支 : master分支 : v1.0 1.創(chuàng)建分支 : git branch v1.02.切換分支 : git checkout v1.0(注意切換不成功執(zhí)行: git...

  • 120
    Chrome擴(kuò)展程序

    1.準(zhǔn)備應(yīng)用https://share.weiyun.com/5beYAw4密碼:nFO82.將下載的zip解壓,在瀏覽器中找到更多工具,擴(kuò)展程序

  • 120
    idea2018.2

    idea 需要: 雙擊一路next 選擇安裝路徑 只選-64,然后next 安裝完成,選項(xiàng)不點(diǎn)對勾然后點(diǎn)finish 將jar復(fù)制到安裝目錄bin下面 打開這倆文件在這里插入...

  • 120
    VirtualBox安裝Linux

    1.安裝前準(zhǔn)備 4.網(wǎng)卡安裝4.1配置第一塊網(wǎng)卡(eth0) ``2.修改網(wǎng)絡(luò)映射(每臺虛擬機(jī)都要配置)vi /etc/hosts cat /etc/profile >> ~...

  • ListState

    process內(nèi)使用KeyedProcessFunctionliststate可以設(shè)置檢查點(diǎn)當(dāng)程序在某時(shí)刻停止再啟動會繼續(xù)(記錄偏移量)

  • 自定義sourceAndsink

    連接kafka獲取數(shù)據(jù) MySQLsource HBaseSink

  • ApplyAndWindowFunction

    apply中的WindowFunction使用方法

  • FlinkBathSQLscala

    讀文本 讀數(shù)組

  • 120
  • 120
    2.4 Apache Flink Time 與 Window

    1. Time 在Flink的流式處理中,會涉及到時(shí)間的不同概念嚣伐,如下圖所示: Event Time:是事件創(chuàng)建的時(shí)間糖赔。它通常由事件中的時(shí)間戳描述,例如采集的日志數(shù)據(jù)中轩端,每一...

亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品