多級(jí)緩存的架構(gòu)

主要是用來解決什么樣的數(shù)據(jù)的緩存的更新的啊粗悯？虚循？？

時(shí)效性不高的數(shù)據(jù)，比如一些商品的基本信息横缔，如果發(fā)生了變更铺遂，假設(shè)在5分鐘之后再更新到頁面中，供用戶觀察到茎刚，也是ok的

時(shí)效性要求不高的數(shù)據(jù)襟锐，那么我們采取的是異步更新緩存的策略

時(shí)效性要求很高的數(shù)據(jù)，庫存膛锭，采取的是數(shù)據(jù)庫+緩存雙寫的技術(shù)方案粮坞，也解決了雙寫的一致性的問題

緩存數(shù)據(jù)生產(chǎn)服務(wù)，監(jiān)聽一個(gè)消息隊(duì)列初狰，然后數(shù)據(jù)源服務(wù)（商品信息管理服務(wù)）發(fā)生了數(shù)據(jù)變更之后莫杈，就將數(shù)據(jù)變更的消息推送到消息隊(duì)列中

緩存數(shù)據(jù)生產(chǎn)服務(wù)可以去消費(fèi)到這個(gè)數(shù)據(jù)變更的消息，然后根據(jù)消息的指示提取一些參數(shù)奢入，然后調(diào)用對(duì)應(yīng)的數(shù)據(jù)源服務(wù)的接口筝闹，拉去數(shù)據(jù)，這個(gè)時(shí)候一般是從mysql庫中拉去的

消息隊(duì)列是什么東西腥光？采取打的就是kafka

我工作的時(shí)候关顷，很多項(xiàng)目是跟大數(shù)據(jù)相關(guān)的，當(dāng)然也有很多是純java系統(tǒng)的架構(gòu)武福，最近用kafka用得比較多

kafka比較簡(jiǎn)單易用议双，講課來說，很方便

解釋一下捉片，我們當(dāng)然是不可能對(duì)課程中涉及的各種技術(shù)都深入淺出的講解的了平痰，kafka，花上20個(gè)小時(shí)給你講解一下界睁，不可能的

所以說呢，在這里兵拢，一些技術(shù)的組合翻斟，用什么都o(jì)k

笑傲江湖中的風(fēng)清揚(yáng)，手中無劍勝有劍说铃，還有任何東西都可以當(dāng)做兵器访惜，哪怕是一根草也可以

搞技術(shù)，kafka和activemq肯定有區(qū)別腻扇，但是說债热，在有些場(chǎng)景下，其實(shí)可能沒有那么大的區(qū)分度幼苛，kafka和activemq其實(shí)是一樣的

生產(chǎn)者+消費(fèi)者的場(chǎng)景窒篱，kafka+activemq都o(jì)k

涉及的這種架構(gòu)，對(duì)時(shí)效性要求高和時(shí)效性要求低的數(shù)據(jù)，分別采取什么技術(shù)方案墙杯？數(shù)據(jù)庫+緩存雙寫一致性配并？異步+多級(jí)緩存架構(gòu)？大緩存的維度化拆分高镐？

你要關(guān)注的溉旋，是一些架構(gòu)上的東西和思想，而不是具體的什么mq的使用

activemq的課程嫉髓，書籍观腊，資料

kafka集群，zookeeper集群算行，先搭建zookeeper集群梧油，再搭建kafka集群

kafka另外一個(gè)原因：kafka，本來就要搭建zookeeper纱意，zookeeper這個(gè)東西婶溯，后面我們還要用呢，緩存的分布式并發(fā)更新的問題偷霉，分布式鎖解決

zookeeper + kafka的集群迄委，都是三節(jié)點(diǎn)

java高級(jí)工程師的思想，在干活兒类少，在思考叙身，jvm，宏觀的思考硫狞，通盤去考慮整個(gè)架構(gòu)信轿，還有未來的技術(shù)規(guī)劃，業(yè)務(wù)的發(fā)展方向残吩，架構(gòu)的演進(jìn)方向和路線

把課程里講解的各種技術(shù)方案組合成财忽、修改成你需要的適合你的業(yè)務(wù)的緩存架構(gòu)

1、zookeeper集群搭建

將課程提供的zookeeper-3.4.5.tar.gz使用WinSCP拷貝到/usr/local目錄下泣侮。
對(duì)zookeeper-3.4.5.tar.gz進(jìn)行解壓縮：tar -zxvf zookeeper-3.4.5.tar.gz即彪。
對(duì)zookeeper目錄進(jìn)行重命名：mv zookeeper-3.4.5 zk

配置zookeeper相關(guān)的環(huán)境變量
vi ~/.bashrc
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$ZOOKEEPER_HOME/bin
source ~/.bashrc

cd zk/conf
cp zoo_sample.cfg zoo.cfg

vi zoo.cfg
修改：dataDir=/usr/local/zk/data
新增：
server.0=eshop-cache01:2888:3888
server.1=eshop-cache02:2888:3888
server.2=eshop-cache03:2888:3888

cd zk
mkdir data
cd data

vi myid
0

在另外兩個(gè)節(jié)點(diǎn)上按照上述步驟配置ZooKeeper，使用scp將zk和.bashrc拷貝到eshop-cache02和eshop-cache03上即可活尊。唯一的區(qū)別是標(biāo)識(shí)號(hào)分別設(shè)置為1和2隶校。

分別在三臺(tái)機(jī)器上執(zhí)行：zkServer.sh start。
檢查ZooKeeper狀態(tài)：zkServer.sh status蛹锰，應(yīng)該是一個(gè)leader深胳，兩個(gè)follower
jps：檢查三個(gè)節(jié)點(diǎn)是否都有QuromPeerMain進(jìn)程

2、kafka集群搭建

scala铜犬，我就不想多說了舞终，就是一門編程語言轻庆，現(xiàn)在比較火，很多比如大數(shù)據(jù)領(lǐng)域里面的spark（計(jì)算引擎）就是用scala編寫的

將課程提供的scala-2.11.4.tgz使用WinSCP拷貝到/usr/local目錄下权埠。
對(duì)scala-2.11.4.tgz進(jìn)行解壓縮：tar -zxvf scala-2.11.4.tgz榨了。
對(duì)scala目錄進(jìn)行重命名：mv scala-2.11.4 scala

配置scala相關(guān)的環(huán)境變量
vi ~/.bashrc
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin
source ~/.bashrc

查看scala是否安裝成功：scala -version

按照上述步驟在其他機(jī)器上都安裝好scala。使用scp將scala和.bashrc拷貝到另外兩臺(tái)機(jī)器上即可攘蔽。

將課程提供的kafka_2.9.2-0.8.1.tgz使用WinSCP拷貝到/usr/local目錄下龙屉。
對(duì)kafka_2.9.2-0.8.1.tgz進(jìn)行解壓縮：tar -zxvf kafka_2.9.2-0.8.1.tgz。
對(duì)kafka目錄進(jìn)行改名：mv kafka_2.9.2-0.8.1 kafka

配置kafka
vi /usr/local/kafka/config/server.properties
broker.id：依次增長(zhǎng)的整數(shù)满俗，0转捕、1、2唆垃，集群中Broker的唯一id
zookeeper.connect=192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181

安裝slf4j
將課程提供的slf4j-1.7.6.zip上傳到/usr/local目錄下
unzip slf4j-1.7.6.zip
把slf4j中的slf4j-nop-1.7.6.jar復(fù)制到kafka的libs目錄下面

解決kafka Unrecognized VM option 'UseCompressedOops'問題

vi /usr/local/kafka/bin/kafka-run-class.sh

if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi

去掉-XX:+UseCompressedOops即可

按照上述步驟在另外兩臺(tái)機(jī)器分別安裝kafka五芝。用scp把kafka拷貝到其他機(jī)器即可。
唯一區(qū)別的辕万，就是server.properties中的broker.id枢步，要設(shè)置為1和2

在三臺(tái)機(jī)器上的kafka目錄下，分別執(zhí)行以下命令：nohup bin/kafka-server-start.sh config/server.properties &

使用jps檢查啟動(dòng)是否成功

使用基本命令檢查kafka是否搭建成功

bin/kafka-topics.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic test --replication-factor 1 --partitions 1 --create

bin/kafka-console-producer.sh --broker-list 192.168.31.181:9092,192.168.31.19:9092,192.168.31.227:9092 --topic test

bin/kafka-console-consumer.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic test --from-beginning
新版本：
bin/kafka-console-consumer.sh --bootstrap-server eshop-cache01:9092,eshop-cache02:9092,eshop-cache03:9092 --topic test