Github Pages 不被百度蜘蛛抓取的問題
由于之前的利用百度統(tǒng)計(jì)導(dǎo)致的針對(duì)Github
的DDos
攻擊事件蚊荣,Github
屏蔽了百度蜘蛛對(duì)于Github Pages
的爬取收錄贩毕,這對(duì)國(guó)內(nèi)使用Github Pages
的用戶無疑是一個(gè)巨大的打擊抒巢。
我也不例外渤昌,這兩天用盡了各種辦法犁享,Google
大法還是不錯(cuò)的,昨天下午提交的sitemap
蒙兰,今天上午就都收錄了。針對(duì)百度芒篷,也搜索了很多辦法搜变,主要有以下幾種:
1. 利用CDN
經(jīng)論證,并沒有什么卵用
2. 利用鏡像针炉,針對(duì)百度蜘蛛挠他,解析到鏡像服務(wù)器上
- 1. 有自己的服務(wù)器或者
VPS
的略過,別問為什么篡帕,因?yàn)槲覜]有殖侵,哈哈哈。
PS:其實(shí)大致過程大差不差赂苗。 - 2. 由于我這個(gè)屌絲沒錢買服務(wù)器愉耙,所以只能利用
coding.net
進(jìn)行托管,在百度蜘蛛爬取的時(shí)候拌滋,解析到coding pages
- 有人說使用
Git cafe
,偷偷告訴你猜谚,git cafe
已經(jīng)被coding
給買了败砂,所以,老老實(shí)實(shí)用coding
吧 - 下面開始放大招
首先第一步魏铅,需要在
Github
上新建一個(gè)項(xiàng)目昌犹,這個(gè)問題應(yīng)該不大吧,既然都用Github Pages
了览芳,這一步就不重復(fù)贅述了斜姥。其次第二步,在
coding.net
中從Github
導(dǎo)入項(xiàng)目第三步,開啟
coding
的pages
服務(wù)铸敏,coding
的pages
服務(wù)跟Github
的pages
服務(wù)的區(qū)別在于:coding
使用的分支是master
或coding-pages
,Github
使用的分支是master
跟gh-pages
,為了統(tǒng)一缚忧,建議使用master
分支。
PS:coding
的坑:
- 分支跟
github
不一樣- 自定義域名需要銀牌會(huì)員以上才能開啟杈笔,銀牌會(huì)員需要完善自己的賬號(hào)資料即可開啟(注意:不管是不是必填都要填才可以開啟銀牌會(huì)員)
- 使用
coding
的自定義域名闪水,有一個(gè)問題,金牌及以上會(huì)員可以略過蒙具,如果是銀牌會(huì)員球榆,coding
會(huì)先定向到一個(gè)coding
提供的頁面,之后才會(huì)重定向到你的自定義域名禁筏,除非持钉。。篱昔。
除非你在底部加上Hosted by coding pages
第四步每强,針對(duì)
git
的push
添加多個(gè)源
git remote set-url --add --push origin ****
將
****
分別換成你自己對(duì)應(yīng)的Github
以及coding
的項(xiàng)目地址
之后,使用git push origin master
就可以將本地更改同步提交至Github
跟coding
至此旱爆,鏡像網(wǎng)站部分應(yīng)該都已經(jīng)搞定了舀射,如有遺漏,自己研究研究吧怀伦。嗯哼~
第五步脆烟,通過
DNSPod
對(duì)域名進(jìn)行解析添加
CNAME
解析,針對(duì)百度解析值pages.coding.me
房待,其余的解析到github.io
邢羔。
可能有人要問,為啥不直接用coding pages
呢桑孩?鑒于服務(wù)穩(wěn)定性以及Github
挺給力的cdn
加速拜鹤,暫時(shí)沒有這方面的打算。
之所以采用這個(gè)方案流椒,也是對(duì)比了一下敏簿,覺得這個(gè)比較靠譜,說說我的比較過程吧
- 利用阿里云進(jìn)行域名解析宣虾,不過針對(duì)百度的解析惯裕,好像支持的并不好,所以放棄了
- 七牛云等
cdn
加速绣硝,由于域名未備案蜻势,所以直接就pass
了- 百度云免費(fèi)
cdn
加速,效果也不太好,緩存設(shè)置略微有點(diǎn)坑爹,放棄,不掙扎了仔粥。
不知道有沒有人懂這種心情挠铲,都快哭了冕屯。好了,就這樣吧市殷,觀察幾天看看有沒有問題愕撰,沒問題的話,此貼就可以終結(jié)了醋寝,如果還有問題搞挣,那估計(jì)過幾天你們就看不到這張?zhí)恿恕P抟粜摺4呀啊!嗅绰!??
本文首發(fā)于Yuri博客