發(fā)簡(jiǎn)信
IP屬地：上海
-
對(duì)Python函數(shù)傳參的一些思考
今天看到這樣一個(gè)問題: Python 的函數(shù)是怎么傳遞參數(shù)的蔫巩，有了一些興趣敢课，因?yàn)橐郧岸际侵苯有诺囊粋€(gè)流傳度較廣的說法 對(duì)于不可變對(duì)象作為函數(shù)參數(shù)...
-
grafana使用中遇到的一些坑prometheus+grafana的系統(tǒng)監(jiān)控方式用起來很不錯(cuò)，最近開始使用它來監(jiān)控haipproxy和weibospider糙俗。由于網(wǎng)上相關(guān)的中...
-
如何將自己的Python包發(fā)布到PyPI
以前寫過一篇類似的文章: 如何打包自己的項(xiàng)目并且發(fā)布到pypi上勒奇，不過由于PyPI進(jìn)行了一些更新，因此舊方法不大適用了巧骚。趁端午有時(shí)間赊颠，想把hai...
-
談?wù)刜_eq__和__hash__
今天刷一道算法題的時(shí)候用到了list_a == list_b的判斷格二，==和is大家都已經(jīng)是耳熟能詳了，前者是判斷值是否相等竣蹦，后者是判斷引用是否相...
-
Sentry初體驗(yàn)最近由于工作需要顶猜，接觸了兩類監(jiān)控類產(chǎn)品，一類是對(duì)于系統(tǒng)資源痘括，系統(tǒng)狀態(tài)长窄、應(yīng)用狀態(tài)等信息的監(jiān)控，主要是使用prometheus+grafana纲菌，這個(gè)...
-
haipproxy高可用核心策略
昨日使用haipproxy作為代理源挠日，對(duì)知乎進(jìn)行了數(shù)據(jù)抓取相關(guān)的性能測(cè)試，測(cè)試效果還不錯(cuò)驰后，有興趣的可以點(diǎn)擊項(xiàng)目主頁查看測(cè)試結(jié)果肆资。但是它仍有繼續(xù)優(yōu)...
-
haipproxy校驗(yàn)器編寫流程使用過代理IP的同學(xué)應(yīng)該都知道矗愧，即使是同一個(gè)IP灶芝，訪問不同網(wǎng)站，可用性和速度都可能大不相同唉韭。因此夜涕，根據(jù)實(shí)際使用情況編寫特定站點(diǎn)的代理校驗(yàn)器是非常...
-
Redis性能優(yōu)化tips
讀完了Redis實(shí)戰(zhàn)，感覺收獲還是蠻多的属愤。像往常那樣女器，讀完就想將書束之高閣。這幾天總感覺差點(diǎn)什么住诸，于是又翻了一下這本書驾胆，打算記錄書上和自己知道的...
-
高可用分布式代理IP池:架構(gòu)篇歷時(shí)大致兩個(gè)月，到現(xiàn)在終于完成了高可用分布式代理IP池贱呐，目前開源在了Github上丧诺。寫這個(gè)項(xiàng)目的原因主要有兩點(diǎn)，一是自己平時(shí)的部分工作需要和爬蟲...
個(gè)人介紹
我的開源項(xiàng)目：
分布式微博爬蟲
https://github.com/SpiderClub/weibospider
高可用分布式代理池
https://github.com/SpiderClub/haipproxy
分布式微博爬蟲
https://github.com/SpiderClub/weibospider
高可用分布式代理池
https://github.com/SpiderClub/haipproxy