系統(tǒng)用的好好的橡羞，然后愕贡，睡眠之后，直接的進(jìn)入到了bash-4.2 使用起來特別的不方便涩嚣，配置的一些全局變量都不起作用，需要輸入全路徑名掂僵，我很納悶為什么突然會進(jìn)入到這里航厚，然后仔細(xì)...
發(fā)簡信
IP屬地：上海
-
linux登錄進(jìn)入bash-4.2
-
idea開發(fā)scala項(xiàng)目
??一般的，我們要使用idea開發(fā)scala的話锰蓬，idea會自動的安裝默認(rèn)的scala幔睬，這里建議自己安裝配置scala，然后idea還需要安裝一個(gè)scala的插件芹扭。這里上面兩...
-
hive on tez中map任務(wù)的數(shù)量計(jì)算
首先說明麻顶，本篇文章的內(nèi)容不是原創(chuàng)赦抖，因?yàn)樵馁|(zhì)量比較好，因此想進(jìn)一步的歸納總結(jié)辅肾， 原文鏈接 https://www.cnblogs.com/zackstang/p/11435...
-
將本地項(xiàng)目快速的提交到gitee首先在gitee上面創(chuàng)建倉庫 然后進(jìn)入到本地項(xiàng)目文件夾队萤，右鍵進(jìn)入到git bash命令行 初始化本地的git倉庫，生成.git文件 將本地倉庫提交的遠(yuǎn)程倉庫的鏈接地址 將本地...
-
hive使用parquet及壓縮數(shù)據(jù)大小前后對比上傳txt文件到hdfs矫钓，txt文件大小是74左右要尔。 這里提醒一下，是不是說pzrquet加lzo可以把數(shù)據(jù)壓縮到這個(gè)地步新娜，因?yàn)槲业臏y試數(shù)據(jù)存在大量重復(fù)赵辕。所以下面使用parq...
-
hive存儲parquet表parquet格式的表在生產(chǎn)環(huán)境中經(jīng)常被使用到，具有列式存儲和壓縮等特點(diǎn)概龄，我們怎么在hive中存儲parquet格式的表呢匆帚。 使用數(shù)據(jù) 這里使用oracle的emp表 創(chuàng)建p...
-
hive文件存儲格式和分隔符
hive會為每個(gè)database創(chuàng)建對應(yīng)的文件夾，表會在這個(gè)文件里面創(chuàng)建對應(yīng)的子目錄旁钧。表中的數(shù)據(jù)會以目錄中的文件的形式存儲起來吸重。對于default數(shù)據(jù)庫，默認(rèn)的缺省數(shù)據(jù)庫是沒...
-
hive數(shù)據(jù)遷移實(shí)例
公司要完成hive數(shù)據(jù)遷移1.創(chuàng)建hdfs臨時(shí)文件夾來保存數(shù)據(jù) 生成數(shù)據(jù)導(dǎo)出腳本執(zhí)行以下的命令歪今，生成數(shù)據(jù)導(dǎo)出的腳本 3.執(zhí)行導(dǎo)出腳本 4.傳遞數(shù)據(jù)這里可以下載數(shù)據(jù)到本地進(jìn)行傳...