一.安裝jdk
- Centos的yum源更換為國內(nèi)的阿里云源
$wget -O /etc/yum.repos.d/CentOS-Base.repo \
http://mirrors.aliyun.com/repo/Centos-7.repo
$yum makecache
- rpm -qa|grep jdk
- yum -y install java-1.8.0-openjdk*
- 設(shè)置環(huán)境變量：
$jhometip='# add JAVA_HOME'
$jhomescript='export JAVA_HOME=/etc/alternatives/java_sdk_1.8.0'
$sudo echo $jhometip >> /etc/rc.d/rc.local
$sudo echo $jhomescript >> /etc/rc.d/rc.local
$source /etc/rc.d/rc.local
二.安裝docker
參照官網(wǎng)文檔:
- Uninstall old versions
$sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine
- SET UP THE REPOSITORY
$ yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
$ yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
$ sudo yum-config-manager --enable docker-ce-edge
$ sudo yum-config-manager --enable docker-ce-test
- INSTALL DOCKER CE
$ sudo yum install docker-ce
- Start Docker
$ sudo systemctl start docker
5）安裝遇到的問題：
docker 安裝報錯 container-selinux >= 2.9 ,錯誤信息如下:
Error: Package: docker-ce-18.03.1.ce-1.el7.centos.x86_64 (docker-ce-edge)
Requires: container-selinux >= 2.9
You could try using --skip-broken to work around the problem
You could try running: rpm -Va --nofiles --nodigest
這個報錯是container-selinux版本低或者是沒安裝的原因;
yum 安裝container-selinux 一般的yum源又找不到這個包;
需要安裝epel源 才能yum安裝container-selinux,然后在安裝docker-ce浑厚。
命令如下：
$ wget -O /etc/yum.repos.d/CentOS-Base.repo \
http://mirrors.aliyun.com/repo/Centos-7.repo
$ yum install epel-release
#阿里云上的epel源
$ yum install container-selinux
三、安裝CDH
- 拉取cloudera 鏡像
$docker pull cloudera/quickstart:latest
docker images查看鏡像
運行鏡像
Cloudera 的 docker 版本分成兩部分啟動：
a.大禮包的啟動 /usr/bin/docker-quickstart;
b.Cloudera manager 本身的啟動/home/cloudera/cloudera-manager.
$docker run -d --name cdh --hostname=quickstart.cloudera --privileged=true -t -i -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 cloudera/quickstart /bin/bash -c '/usr/bin/docker-quickstart && /home/cloudera/cloudera-manager --express && service ntpd start'
- 寫這么多端口映射也是為了方便我們外面的機器可以方面的訪問 docker 內(nèi)部的這些端口椿肩，訪問這些服務(wù)瞻颂。
- Cloudera 本身的manager 是 7180 端口。當(dāng)這些啟動起來之后就可以訪問目標(biāo)機器 ip 的 7180 端口訪問 Cloudera manager了郑象。
- linux 機器的 docker 用命令起起來后贡这，docker 內(nèi)的實例不能訪問外網(wǎng)，配置一下docker 創(chuàng)建容器時候的參數(shù)增加-net host 即可厂榛。
- 也可以在宿主機器上在 /etc/default/docker 文件盖矫。并且配置上 DOCKER_OPTS="--dns host_ip" 即可。
- 進入鏡像击奶，運行cloudera服務(wù)
$docker exec -it container_id bash #進入docker運行命令辈双，t返回偽終端,bash 命令
$ sudo /home/cloudera/cloudera-manager --express
>service cloudera-scm-server restart
>service cloudera-scm-server status
四、安裝kafka
1.下載鏡像
sudo docker pull wurstmeister/zookeeper
sudo docker pull wurstmeister/kafka
2.啟動鏡像
$ docker run -d --name zookeeper --publish 2181:2181 \
--volume /etc/localtime:/etc/localtime wurstmeister/zookeeper:latest
$ docker run -d --name kafka --publish 9092:9092 --link zookeeper:zk --env KAFKA_ZOOKEEPER_CONNECT=(zk所在宿主機的IP):2181 --env KAFKA_ADVERTISED_HOST_NAME=(kafka所在宿主機的IP) --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest
(kafka所在宿主機的IP)
3.測試發(fā)送消息
//執(zhí)行Docker ps柜砾，找到kafka的Container ID湃望，進入容器內(nèi)部：
docker exec -it ${CONTAINER ID} /bin/bash
//進入kafka默認(rèn)目錄
cd opt/kafka_2.12-2.1.0/
//創(chuàng)建一個主題：
bin/kafka-topics.sh --create --zookeeper (zk所在宿主機的IP):2181 --replication-factor 1 --partitions 1 --topic myKafka
//運行一個消息生產(chǎn)者，指定topic為剛剛創(chuàng)建的主題
bin/kafka-console-producer.sh --broker-list (kafka所在宿主機的IP):9092 --topic myKafka
//運行一個消費者痰驱，指定同樣的主題
bin/kafka-console-consumer.sh --bootstrap-server (kafka所在宿主機的IP):9092 --topic myKafka --from-beginning
