centos搭建proxypool抓取節(jié)點(diǎn)

步驟

  1. 安裝寶塔并安裝nginx做反向代理
  2. 在根目錄創(chuàng)建一個(gè)目錄名proxy
  3. 下載一個(gè)proxpool主程序和config和source的配置文件
  4. nginx添加域名開啟反向代理
  5. 運(yùn)行程序

安裝寶塔

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

根下創(chuàng)建目錄名proxy

  • 創(chuàng)建proxy目錄

    image.png

  • 依次下載三個(gè)文件

    image.png

proxypool

https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fproxypool

config.ymal

https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fconfig.yaml

sourcel.ymal

https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fsource.yaml

下載好文件后重命名凶硅,并設(shè)置proxypool為755權(quán)限

image.png
  • 修改config.yaml


    image.png

添加反向代理

  • 寶塔網(wǎng)站里添加一個(gè)網(wǎng)站焰手,域名為剛剛解析好并填入配置文件的網(wǎng)址

    image.png

  • 申請一個(gè) ssl 證書,并打開強(qiáng)制 https

image.png
  • 然后添加一個(gè)反向代理氮双,代理到本機(jī)的 12580 端口(配置文件默認(rèn)端口)


    image.png

運(yùn)行程序

ssh啟動(dòng)進(jìn)入/proxy

nohup ./proxypool -c config.yaml 1>>run.log 2>>run.log &
image.png

訪問成功

image.png

如果要更新配置

  • 進(jìn)入 /proxy目錄結(jié)束掉proxypool的運(yùn)行
cd /proxy
ps -ef
kill -s 9 4383  # 每個(gè)人的 PID 是不一樣的
image.png

再次啟動(dòng)使用啟動(dòng)命令即可

nohup ./proxypool -c config.yaml 1>>run.log 2>>run.log &

原文鏈接

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
禁止轉(zhuǎn)載钞翔,如需轉(zhuǎn)載請通過簡信或評(píng)論聯(lián)系作者。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市忧风,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌球凰,老刑警劉巖狮腿,帶你破解...
    沈念sama閱讀 221,576評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異呕诉,居然都是意外死亡缘厢,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,515評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門甩挫,熙熙樓的掌柜王于貴愁眉苦臉地迎上來昧绣,“玉大人,你說我怎么就攤上這事捶闸∫钩耄” “怎么了?”我有些...
    開封第一講書人閱讀 168,017評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵删壮,是天一觀的道長贪绘。 經(jīng)常有香客問我,道長央碟,這世上最難降的妖魔是什么税灌? 我笑而不...
    開封第一講書人閱讀 59,626評(píng)論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮亿虽,結(jié)果婚禮上菱涤,老公的妹妹穿的比我還像新娘。我一直安慰自己洛勉,他們只是感情好粘秆,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,625評(píng)論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著收毫,像睡著了一般攻走。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上此再,一...
    開封第一講書人閱讀 52,255評(píng)論 1 308
  • 那天昔搂,我揣著相機(jī)與錄音,去河邊找鬼输拇。 笑死摘符,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播逛裤,決...
    沈念sama閱讀 40,825評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼蠢古,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了别凹?” 一聲冷哼從身側(cè)響起草讶,我...
    開封第一講書人閱讀 39,729評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎炉菲,沒想到半個(gè)月后堕战,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,271評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡拍霜,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,363評(píng)論 3 340
  • 正文 我和宋清朗相戀三年嘱丢,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片祠饺。...
    茶點(diǎn)故事閱讀 40,498評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡越驻,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出道偷,到底是詐尸還是另有隱情缀旁,我是刑警寧澤,帶...
    沈念sama閱讀 36,183評(píng)論 5 350
  • 正文 年R本政府宣布勺鸦,位于F島的核電站并巍,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏换途。R本人自食惡果不足惜懊渡,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,867評(píng)論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望军拟。 院中可真熱鬧剃执,春花似錦、人聲如沸懈息。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,338評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽漓拾。三九已至阁最,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間骇两,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,458評(píng)論 1 272
  • 我被黑心中介騙來泰國打工姜盈, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留低千,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,906評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像示血,于是被迫代替她去往敵國和親棋傍。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,507評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容

  • 最近很火的nulink是什么难审?解決了什么技術(shù)問題瘫拣? NuLink 通過應(yīng)用編程接口(API)為去中心化的 APP ...
    Aaron阿酷閱讀 147評(píng)論 0 0
  • 11.1 了解架構(gòu) 在研究Kubernetes如何實(shí)現(xiàn)其功能之前,先具體了解下Kubernetes集群有哪些組件告喊。...
    眾神開掛閱讀 513評(píng)論 0 0
  • 設(shè)計(jì)模式 一.六大設(shè)計(jì)原則 1.開閉原則:針對(duì)擴(kuò)展開放麸拄,修改關(guān)閉; 2.里氏替換原則:任何父類出現(xiàn)的地方都可由其子...
    說好的蔚藍(lán)天空呢閱讀 549評(píng)論 0 0
  • 商品管理 商品新增 當(dāng)我們點(diǎn)擊新增商品按鈕就會(huì)出現(xiàn)一個(gè)彈窗: 里面把商品的數(shù)據(jù)分為了4部分來填寫: 基本信息:主要...
    碎碎念_碎語閱讀 192評(píng)論 0 0
  • 前言 隨著前后端分離應(yīng)用模式的推廣黔姜,前端項(xiàng)目可獨(dú)立部署維護(hù)上線拢切,不再僅僅將前端開發(fā)后打包的文件直接丟到一個(gè)文件目錄...
    維李設(shè)論閱讀 520評(píng)論 0 0