96.1 演示環(huán)境介紹
- root用戶操作
- RedHat版本：7.3
96.2 操作演示
1.準備環(huán)境
clone hive-testbench源碼下載：
https://github.com/hortonworks/hive-testbench.git
下載至本地目錄
[root@ip-186-31-16-68 ~]# git clone https://github.com/hortonworks/hive-testbench.git
安裝hive-testbench編譯依賴環(huán)境
[root@ip-186-31-16-68 ~]# yum -y install gcc gcc-c++
2.編譯hive-testbench并打包
進入hive-testbench目錄
[root@ip-186-31-16-68 ~]# cd hive-testbench/
[root@ip-186-31-16-68 hive-testbench]# ll
在hive-testbench目錄下執(zhí)行如下腳本進行編譯打包
[root@ip-186-31-16-68 hive-testbench]# ./tpcds-build.sh
3.生成并加載數(shù)據(jù)
- 在hive-testbench目錄下執(zhí)行如下腳本生成并加載測試數(shù)據(jù)
- 10表示生成的數(shù)據(jù)量大小GB單位
- /extwarehouse/tpcds表數(shù)據(jù)數(shù)據(jù)生成的目錄，目錄不存在自動生成，如果不指定數(shù)據(jù)目錄則默認生成到/tmp/tpcds目錄下
[root@ip-186-31-16-68 hive-testbench]# ./tpcds-setup.sh 10 /extwarehouse/tpcds
- 等待腳本執(zhí)行成功
- 如成功生成了測試數(shù)據(jù)并創(chuàng)建了tpcds_text_10和tpcds_bin_partitioned_orc_10兩個數(shù)據(jù)庫
- 在命令行查看HDFS上的數(shù)據(jù)是否與指定的量一致
- 通過Hue驗證生成的測試數(shù)據(jù)
4.總結
在編譯hive-testbench項目時需要有外網(wǎng)環(huán)境，在編譯的過程會下載Maven的安裝包损搬、下載Maven依賴以及TPC-DS的源碼通過腳本的方式運行TPC-DS的99條SQL來做Hive瓦哎、Impala暮的、Presto等服務的基準測試
大數(shù)據(jù)視頻推薦：
騰訊課堂
CSDN
大數(shù)據(jù)語音推薦：
企業(yè)級大數(shù)據(jù)技術應用
大數(shù)據(jù)機器學習案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎
人工智能：深度學習入門到精通
