Go Distributed Reptiles
相信這個項目腿短,對于學(xué)習(xí)分布式系統(tǒng)或者爬蟲的你來說褥符,幫助是巨大的扳还。
抓緊試試這個分布式爬蟲吧琳省!
項目的思路來自于慕課網(wǎng)的ccmouse老師鏈接
微服務(wù)教程學(xué)習(xí)吧
github apple-han
技術(shù)棧
Go, Protobuf, Consul, Docker, Elasticsearch, BloomFilter
必須要做的
- git clone https://github.com/apple-han/island.git
- cd island
- 全局搜索192.168.31.231 換成你主機的IP地址(這里因為有json文件,不好做全局的配置)
Docker的方式部署
-
cd crawler_distributed/persist
- make build
- make docker
-
cd crawler_distributed/worker
- make build
- make docker
-
cd crawler_distributed
- make build
- make docker
-
cd crawler/frontend
- make build
- make docker
cd island
docker-compose up -d
http://192.168.31.231:8888/search?q=大眾(自己的ip)
小貼士
- 由于系統(tǒng)是一個分布式的,所以整體下來 還是有一點難度
- 希望大家,好好看一下嗤形,應(yīng)該對你幫助會挺大的