2020-02-16 Greenplum安裝(親測)

官網(wǎng)下載地址:https://network.pivotal.io/products/pivotal-gpdb#/releases/1502/file_groups/378


一、準(zhǔn)備環(huán)境

1础浮、配置hosts

? ? a剥槐、vi /etc/hosts

? 10.10.134.11 dw-greenplum-1 mdw

? 10.10.134.12 dw-greenplum-2 sdw1

? 10.10.134.13 dw-greenplum-3 sdw2

b、scp到其他機器上

scp /etc/hosts root@10.10.134* :/etc/hosts

2、配置hostname

? ? ? a车遂、vi /etc/hostname? 各個機器 用自己名稱

? ? mdw

b京办、vi /etc/sysconfig/network 各個機器 用自己名稱

? ? mdw

c、reboot 重啟

如果以上還不起作用

正常顯示:?


3而昨、要安裝的工具

yum install -y ed s是為了解決這個問題(http://www.freeoa.net/osuport/db/greenplum-db-study-install_3097.html)

? ? yum -y install wget

? ? yum install -y unzip zip

? ? ? yum install -y unzip zip

? ? ? yum -y install lsof

? ? yum install -y net-tools which openssh-clients openssh-server less? zip unzip iproute

4救氯、關(guān)閉防火墻

查看防火墻狀態(tài)

firewall-cmd --state

停止firewall

systemctl stop firewalld.service

禁止firewall開機啟動

systemctl disable firewalld.service

5、網(wǎng)絡(luò)相互通

? ? ? ? ping IP

? ? ? ? ping hostname

? ? ? ? ssh? hostname 能登錄到其他機器上

二歌憨、Greenplum初始化前期配置

? ? 1着憨、系統(tǒng)設(shè)置(所有機器)

a、sysctl.conf的設(shè)置

? ? ? #vi /etc/sysctl.conf

? ? ? ? kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 512000 100 2048

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 1

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_syn_backlog = 4096

net.ipv4.conf.all.arp_filter = 1

net.ipv4.ip_local_port_range = 1025 65535

net.core.netdev_max_backlog = 10000

net.core.rmem_max = 2097152

net.core.wmem_max = 2097152

vm.overcommit_memory = 2

? ? #sysctl -p

? ? b务嫡、limits.conf的設(shè)置

? ? # vi /etc/security/limits.conf

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

? ? 分別copy其他機器上

? ? # scp? /etc/sysctl.conf root@swd1 : etc/sysctl.conf

? ? # scp? /etc/security/limits.conf root@swd1 : /etc/security/limits.conf

? ? 其他優(yōu)化配置在測試環(huán)境先不配置? 不影響啟動

? ? 2甲抖、安裝

? a漆改、創(chuàng)建gpadmin組合用戶

# groupdel gpadmin

# userdel gpadmin

# groupadd -g 530 gpadmin

# useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin

# passwd gpadmin


? b、解壓介質(zhì)

# unzip greenplum-db-4.3.7.2-build-2-RHEL5-x86_64.zip

# chown gpadmin:gpadmin greenplum-db-4.3.7.2-build-2-RHEL5-x86_64.bin

? c准谚、創(chuàng)建安裝目錄

# mkdir -p /opt/greenplum

# chown -R gpadmin:gpadmin /opt/greenplum

? ? d挫剑、Install? [root@gpnode1 greenplum]

$ ./greenplum-db-4.3.7.2-build-2-RHEL5-x86_64.bin

確認(rèn)license,輸入yes

輸入安裝目錄:/opt/greenplum

確認(rèn)安裝路徑柱衔,yes

? ? 3樊破、安裝和配置greenplum到所有主機(操作master)

? ? a、執(zhí)行相應(yīng)環(huán)境變量

? ? # . /opt/greenplum/greenplum_path.sh

? b唆铐、創(chuàng)建hostlist文件(所有機器的hostname)

? ? ?# cat /tmp/hostlist

? ? ? ? mdw

? ? ? ?sdw1

? ? ? ?sdw2

? c捶码、創(chuàng)建只包含segment節(jié)點的hostname

? ? # cat /tmp/seg_hosts

? ? ? sdw1

? ? ? sdw2

? d、安裝segment節(jié)點

? ? $ gpseginstall -f /tmp/seg_hosts -u gpadmin -p gpadmin

? ? 報錯后應(yīng)注意的一點:要在gpadmin用戶下進行或链,執(zhí)行source greenplum_path.sh惫恼,成功后? 會提示連接另一端數(shù)據(jù)庫

? e、Check install

$ gpssh -f /tmp/hostlist -e ls -l $GPHOME?

? ? f澳盐、創(chuàng)建master 數(shù)據(jù)目錄

? ? ?# mkdir /data/master

? ? ?# chown gpadmin /data/master

如有master-standby祈纯,則用如下命令創(chuàng)建相應(yīng)目錄:

# . /opt/greenplum/greenplum_path.sh

# gpssh -h standby-host -e 'mkdir /data/master'

# gpssh -h standby-host -e 'chown gpadmin /data/master'


? ? g、創(chuàng)建segment節(jié)點數(shù)據(jù)目錄

# . /opt/greenplum/greenplum_path.sh

# gpssh -f /tmp/seg_hosts -e 'mkdir -p /data/primary'

# gpssh -f /tmp/seg_hosts -e 'mkdir -p /data/mirror'

# gpssh -f /tmp/seg_hosts -e 'chown gpadmin /data/primary'

# gpssh -f /tmp/seg_hosts -e 'chown gpadmin /data/mirror'


? ? ? h叼耙、配置ntp(測試環(huán)境可以不執(zhí)行)

修改master的配置文件(/etc/ntp.conf )

server 127.0.0.1


修改segment的配置文件(/etc/ntp.conf )

server test1

Server standby-host


修改standby的配置文件(/etc/ntp.conf )

server ntp-server

Server test1


在master上執(zhí)行如下命令同步時間:

# gpssh -f /tmp/seg_hosts -v -e 'ntpd'?

? ? ? ? 4腕窥、check操作

$ gpcheck -f /tmp/hostlist

$ source /opt/greenplum-db/greenplum_path.sh

$ gpssh -f /tmp/hostlist #統(tǒng)一處理所有節(jié)點

$ gpssh-exkeys -f hostlist(比較關(guān)鍵)

5、配置./bash_profile

source /opt/greenplum-db/greenplum_path.sh

export MASTER_DATA_DIRECTORY=/data/master/gpseg-1

export GPPORT=5432

export PGDATABASE=test_DB

依次scp到更改節(jié)點

$ source .bash_profile

三筛婉、Greenplum初始化

1.創(chuàng)建gp的配置文件

$ cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config? /home/gpadmin/gpinitsystem_config

$ cat? gpinitsystem_config |grep -v "^#" |grep -v "^$"

ARRAY_NAME="EMC Greenplum DW"

SEG_PREFIX=gpseg

PORT_BASE=40000

declare -a DATA_DIRECTORY=(/data/primary)

MASTER_HOSTNAME=test1

MASTER_DIRECTORY=/data/master

MASTER_PORT=5432

TRUSTED_SHELL=ssh

CHECK_POINT_SEGMENTS=8

ENCODING=UNICODE

MIRROR_PORT_BASE=50000

REPLICATION_PORT_BASE=41000

MIRROR_REPLICATION_PORT_BASE=51000

declare -a MIRROR_DATA_DIRECTORY=(/data/mirror)


2 .Run Initialization

$ gpinitsystem -c gpinitsystem_config -h /tmp/seg_hosts

出現(xiàn)以下日志說明初始化成功了


參考的文檔:https://blog.csdn.net/king13127/article/details/83989704

? ? ? ? ? ? ? ? ? ? http://gitop.cc/posts/install-greenplum-in-docker/

? ? ? ? ? ? ? ? ? ? https://blog.csdn.net/xudailong_blog/article/details/79874923

官方下載地址:https://network.pivotal.io/products/pivotal-gpdb

四簇爆、數(shù)據(jù)庫操作

$ psql -d postgres(其中的一個初始庫)

$ psql -d postgres? #進入某個數(shù)據(jù)庫


postgres=# \l # 查詢數(shù)據(jù)庫? List of databases

? Name? ? |? Owner? | Encoding |? Access privileges?

-----------+---------+----------+---------------------

gp_sydb? | gpadmin | UTF8? ? |

postgres? | gpadmin | UTF8? ? |

template0 | gpadmin | UTF8? ? | =c/gpadmin? ? : gpadmin=CTc/gpadmin

template1 | gpadmin | UTF8? ? | =c/gpadmin? ? : gpadmin=CTc/gpadmin

(4 rows)

postgres=# \i test.sql #執(zhí)行sql

postgres=# copy 表名 to '/tmp/1.csv' with 'csv';? ? ? #快速導(dǎo)出單表數(shù)據(jù)

postgres=# copy 表名 from '/tmp/1.csv' with 'csv';? ? #快速導(dǎo)入單表數(shù)據(jù)

postgres=# \q? ? ? ? ? #退出數(shù)據(jù)庫

五、集群狀態(tài)

gpstate -e #查看mirror的狀態(tài)

gpstate -f #查看standby master的狀態(tài)

gpstate -s #查看整個GP群集的狀態(tài)

gpstate -i #查看GP的版本

gpstate --help #幫助文檔爽撒,可以查看gpstate更多用法

六入蛆、過程中遇到的問題

? ? 1、在source .bash_profile的過程中導(dǎo)致 yum 不能用報:? Fatal?Python?error:?pycurl:?libcurl?link-time?version?is?older?than?compile-time?version

Aborted

? ? ? ? ? 原因:把 root 用戶下 python環(huán)境變量unset掉了硕勿,總是在執(zhí)行python2.6 其實應(yīng)該執(zhí)行python2.7

? ? ? ? ? ? 解決:$? su root

? ? ? ? ? ? ? ? ? ? ? # whereis python

? ? ? ? ? ? ? ? ? ? ? # cd ~

? ? ? ? ? ? ? ? ? ? ? # vi .bash_profile


? ? ? ? ? ? ? ? ? ? ? ? #? source .bash_profile

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末哨毁,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子源武,更是在濱河造成了極大的恐慌扼褪,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件粱栖,死亡現(xiàn)場離奇詭異话浇,居然都是意外死亡,警方通過查閱死者的電腦和手機闹究,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門幔崖,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事岖瑰∨崖颍” “怎么了砂代?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵蹋订,是天一觀的道長。 經(jīng)常有香客問我刻伊,道長露戒,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任捶箱,我火速辦了婚禮智什,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘丁屎。我一直安慰自己荠锭,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布晨川。 她就那樣靜靜地躺著证九,像睡著了一般。 火紅的嫁衣襯著肌膚如雪共虑。 梳的紋絲不亂的頭發(fā)上愧怜,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天,我揣著相機與錄音妈拌,去河邊找鬼拥坛。 笑死,一個胖子當(dāng)著我的面吹牛尘分,可吹牛的內(nèi)容都是我干的猜惋。 我是一名探鬼主播,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼培愁,長吁一口氣:“原來是場噩夢啊……” “哼惨奕!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起竭钝,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤梨撞,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后香罐,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體卧波,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年庇茫,在試婚紗的時候發(fā)現(xiàn)自己被綠了港粱。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖查坪,靈堂內(nèi)的尸體忽然破棺而出寸宏,到底是詐尸還是另有隱情,我是刑警寧澤偿曙,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布氮凝,位于F島的核電站,受9級特大地震影響望忆,放射性物質(zhì)發(fā)生泄漏罩阵。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一启摄、第九天 我趴在偏房一處隱蔽的房頂上張望稿壁。 院中可真熱鬧,春花似錦歉备、人聲如沸傅是。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽喧笔。三九已至,卻和暖如春肚豺,著一層夾襖步出監(jiān)牢的瞬間溃斋,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工吸申, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留梗劫,地道東北人。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓截碴,卻偏偏與公主長得像梳侨,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子日丹,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容