Solr 是什么癌淮?
Solr 是一個(gè)開(kāi)源的企業(yè)級(jí)搜索服務(wù)器辱挥,底層使用易于擴(kuò)展和修改的 Java 來(lái)實(shí)現(xiàn)罩旋。服務(wù) 器通信使用標(biāo)準(zhǔn)的 HTTP 和 XML ,所以如果使用Solr 了解 Java 技術(shù)會(huì)有用卻不是必須的要求拯坟。
Solr主要特性有:強(qiáng)大的全文檢索功能但金,高亮顯示檢索結(jié)果,動(dòng)態(tài)集群郁季,數(shù)據(jù)庫(kù)接口和 電子文檔(Word 冷溃,PDF 等)的處理。而且 Solr具有高度的可擴(kuò)展梦裂,支持分布搜索和索引的復(fù)制似枕。
用MapReduce構(gòu)建Solr索引
本文在markrmiller的repo上做了一些改動(dòng),成功地在Hadoop上利用MapReduce創(chuàng)建了Solr的索引年柠。
實(shí)驗(yàn)環(huán)境
- Ubuntu 16.04的虛擬機(jī)一臺(tái)(2GB 內(nèi)存凿歼,1核)
- 安裝JDK 7+
實(shí)驗(yàn)步驟
首先要能夠免密登錄localhost:
sudo apt-get install openssh-server
ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
現(xiàn)在ssh localhost
就不再需要輸入密碼了。
接下來(lái)先安裝一個(gè)在運(yùn)行過(guò)程中要用到的軟件unzip:
sudo apt-get install unzip
然后從github下載源碼到根目錄冗恨,然后運(yùn)行run-example.sh
:
git clone https://github.com/scuxiayiqian/solr-map-reduce-example.git
cd solr-map-reduce-example
bash run-example.sh
運(yùn)行成功后程序就會(huì)啟動(dòng)一個(gè)MapReduce的任務(wù)對(duì)下載下來(lái)的Twitter數(shù)據(jù)建立索引答憔,并上傳到Solr Cloud上去。運(yùn)行完成后我們可以通過(guò)http://127.0.0.1:8983/solr
來(lái)查看結(jié)果掀抹。也可以通過(guò)http://127.0.0.1:50075
和http://127.0.0.1:8042
分別訪問(wèn)NameNode和Yarn攀唯。