spark study note1 環(huán)境搭建

grep -A 5 'UPDATE ddt_frequency_car' pub.log 查找向下的五行

ip addr 查看ip
service network restart /etc/init.d/network restart 重啟網(wǎng)卡

免密登錄
通過命令”ssh-keygen -t rsa“
生成之后會在用戶的根目錄生成一個 “.ssh”的文件夾
通過ssh-copy-id的方式
命令： ssh-copy-id -i ~/.ssh/id_rsa.put <romte_ip>
舉例：　　　　　　
[root@test .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.91.135
root@192.168.91.135's password:
Now try logging into the machine, with "ssh '192.168.91.135'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
[root@test .ssh]# ssh root@192.168.91.135
Last login: Mon Oct 10 01:25:49 2016 from 192.168.91.133
[root@localhost ~]#
　　　　常見錯誤：
　　　　　　[root@test ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.91.135
　　　　　　-bash: ssh-copy-id: command not found //提示命令不存在
　　　　　　解決辦法：yum -y install openssh-clients
cat id_rsa.pub >> authorized_keys 將公鑰追加到 authorized_keys 中懦砂，authorized_keys中是可以防問的公鑰
A將公鑰發(fā)給B锁右，不是說讓B來訪問A秉扑，而是A就可以訪問B了

vi /etc/hosts
192.168.20.75 Master
192.168.20.76 Slave1
192.168.20.77 Slave2

設(shè)置靜態(tài)ip
用#將BOOTPROTO=dhcp注釋
IPADDR=192.168.60.101 #靜態(tài)IP
GATEWAY=192.168.20.1 #默認(rèn)網(wǎng)關(guān)
NETMASK=255.255.255.0 #子網(wǎng)掩碼
DNS1=192.168.1.10 #DNS 配置

IPADDR=192.168.60.102 #靜態(tài)IP
GATEWAY=192.168.20.1 #默認(rèn)網(wǎng)關(guān)
NETMASK=255.255.255.0 #子網(wǎng)掩碼
DNS1=192.168.1.10 #DNS 配置

IPADDR=192.168.60.103 #靜態(tài)IP
GATEWAY=192.168.20.1 #默認(rèn)網(wǎng)關(guān)
NETMASK=255.255.255.0 #子網(wǎng)掩碼
DNS1=192.168.1.10 #DNS 配置

安裝jdk scala 設(shè)置環(huán)境變量
rpm -ivh jdk-8u144-linux-x64.rpm 安裝jdk
rpm -ivh scala-2.11.8.rpm 安裝scala
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:${JAVA_HOME}/bin
export SCALA_HOME=/usr/share/scala
export PATH=$SCALA_HOME/bin:$PATH

移動解壓hadoop 設(shè)置環(huán)境變量
mv hadoop-2.7.4 /opt
tar -zxvf hadoop-2.7.4.tar.gz
export HADOOP_HOME=/opt/hadoop-2.7.4/
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
source /etc/profile
修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh纺且，修改JAVA_HOME 如下：
export JAVA_HOME=/usr/java/jdk1.8.0_144
修改$HADOOP_HOME/etc/hadoop/slaves，將原來的localhost刪除添坊，改成如下內(nèi)容：
Slave1
Slave2
修改$HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://Master:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/hadoop-2.7.4/tmp</value>
     </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>Master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop-2.7.4/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/opt/hadoop-2.7.4/hdfs/data</value>
    </property>
</configuration>

復(fù)制template圆到，生成xml坏平，命令如下：
cp mapred-site.xml.template mapred-site.xml
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>Master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>Master:19888</value>
  </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>Master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>Master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>Master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>Master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>Master:8088</value>
     </property>
</configuration>

scp -r /opt/hadoop-2.7.4/etc/hadoop root@Slave1:/opt/hadoop-2.7.4/etc
scp -r /opt/hadoop-2.7.4/etc/hadoop root@Slave2:/opt/hadoop-2.7.4/etc
在Master節(jié)點(diǎn)啟動集群，啟動之前格式化一下namenode：
hadoop namenode -format
啟動：
/opt/hadoop-2.7.4/sbin/start-all.sh
防問地址：
http://192.168.20.75:8088
http://master:50070

安裝spark2.1.0
mv spark-2.1.0-bin-hadoop2.7.tgz /opt
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
修改/etc/profie渠概，增加如下內(nèi)容：
export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin
cd /opt/spark-2.1.0-bin-hadoop2.7/conf
復(fù)制spark-env.sh.template成spark-env.sh
cp spark-env.sh.template spark-env.sh
修改$SPARK_HOME/conf/spark-env.sh茶凳，添加如下內(nèi)容：
export JAVA_HOME=/usr/java/jdk1.8.0_144
export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/opt/hadoop-2.7.4
export HADOOP_CONF_DIR=/opt/hadoop-2.7.4/etc/hadoop
export SPARK_MASTER_IP=192.168.20.75
export SPARK_MASTER_HOST=192.168.20.75
export SPARK_LOCAL_IP=192.168.20.75
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7
export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.4/bin/hadoop classpath)
復(fù)制slaves.template成slaves
cp slaves.template slaves
修改$SPARK_HOME/conf/slaves，添加如下內(nèi)容：
Master
Slave1
Slave2
將配置好的spark文件復(fù)制到Slave1和Slave2節(jié)點(diǎn)播揪。
scp -r /opt/spark-2.1.0-bin-hadoop2.7 root@Slave1:/opt
scp -r /opt/spark-2.1.0-bin-hadoop2.7 root@Slave2:/opt
在Slave1和Slave2上分別修改/etc/profile贮喧，增加Spark的配置
在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，將export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2對應(yīng)節(jié)點(diǎn)的IP
在Master節(jié)點(diǎn)啟動集群猪狈。
/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh
查看集群是否啟動成功：
jps
Master在Hadoop的基礎(chǔ)上新增了：
Master
Slave在Hadoop的基礎(chǔ)上新增了：
Worker

啟動： systemctl start firewalld
查看狀態(tài)： systemctl status firewalld
停止： systemctl disable firewalld
禁用： systemctl stop firewalld

zookeeper安裝
conf/zoo.cfg
server.0=Master:2288:3388
server.1=Slave1:2288:3388
server.2=Slave2:2288:3388
touch myid 在dataDir下
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin
/opt/zookeeper-3.4.10/bin/zkServer.sh start
/opt/zookeeper-3.4.10/bin/zkServer.sh status

最后編輯于：2017.12.06 14:43:12

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末箱沦，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子雇庙，更是在濱河造成了極大的恐慌谓形，老刑警劉巖灶伊，帶你破解...
沈念sama閱讀 219,490評論 6贊 508
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異寒跳，居然都是意外死亡谁帕，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,581評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門冯袍，熙熙樓的掌柜王于貴愁眉苦臉地迎上來匈挖，“玉大人，你說我怎么就攤上這事康愤±苎” “怎么了？”我有些...
開封第一講書人閱讀 165,830評論 0贊 356
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵征冷，是天一觀的道長择膝。經(jīng)常有香客問我，道長检激，這世上最難降的妖魔是什么肴捉？我笑而不...
開封第一講書人閱讀 58,957評論 1贊 295
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮叔收，結(jié)果婚禮上齿穗，老公的妹妹穿的比我還像新娘。我一直安慰自己饺律，他們只是感情好窃页，可當(dāng)我...
茶點(diǎn)故事閱讀 67,974評論 6贊 393
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著复濒，像睡著了一般脖卖。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上巧颈，一...
開封第一講書人閱讀 51,754評論 1贊 307
城市分裂傳說
那天畦木，我揣著相機(jī)與錄音，去河邊找鬼砸泛。笑死十籍，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的晾嘶。我是一名探鬼主播妓雾，決...
沈念sama閱讀 40,464評論 3贊 420
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼垒迂！你這毒婦竟也來了械姻？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 39,357評論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎楷拳，沒想到半個月后绣夺，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,847評論 1贊 317
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡欢揖，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,995評論 3贊 338
?白月光啟示錄
正文我和宋清朗相戀三年陶耍，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片她混。...
茶點(diǎn)故事閱讀 40,137評論 1贊 351
活死人
序言：一個原本活蹦亂跳的男人離奇死亡烈钞，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出坤按，到底是詐尸還是另有隱情毯欣，我是刑警寧澤，帶...
沈念sama閱讀 35,819評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布臭脓，位于F島的核電站酗钞，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏来累。R本人自食惡果不足惜砚作，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,482評論 3贊 331
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望嘹锁。院中可真熱鬧葫录，春花似錦、人聲如沸兼耀。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,023評論 0贊 22
一樁弒父案求冷，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽瘤运。三九已至，卻和暖如春匠题，著一層夾襖步出監(jiān)牢的瞬間拯坟，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 33,149評論 1贊 272
情欲美人皮
我被黑心中介騙來泰國打工韭山，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留郁季，地道東北人。一個月前我還...
沈念sama閱讀 48,409評論 3贊 373
代替公主和親
正文我出身青樓钱磅，卻偏偏與公主長得像梦裂，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子盖淡，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,086評論 2贊 355

spark study note1 環(huán)境搭建

推薦閱讀更多精彩內(nèi)容