12篇文章 · 10740字 · 1人關(guān)注
-
基于 ZooKeeper 實現(xiàn)爬蟲集群的監(jiān)控ZooKeeper ZooKeeper 是一個開源的分布式協(xié)調(diào)服務(wù)透硝，ZooKeeper框架最初是在“Yahoo!"上構(gòu)建的砖瞧，用于以簡單而穩(wěn)健的方...
-
Java 通用爬蟲框架中多線程的使用一. 前言 NetDiscovery 是本人開發(fā)的一款基于 Vert.x钦铺、RxJava 2 等框架實現(xiàn)的通用爬蟲框架蹦骑。它包含了豐富的特性民效。 二....
-
Disruptor 實踐：整合到現(xiàn)有的爬蟲框架一. Disruptor Disruptor 是一個高性能的異步處理框架。 Disruptor 是 LMAX 在線交易平臺的關(guān)鍵組成部分炬守，LMA...
-
從API到DSL —— 使用 Kotlin 特性為爬蟲框架進(jìn)一步封裝NetDiscovery[https://github.com/fengzhizi715/NetDiscovery] 是一款基于 Vert.x牧嫉、...
-
使用Kotlin Coroutines簡單改造原有的爬蟲框架NetDiscovery 是一款基于 Vert.x、RxJava2 實現(xiàn)的爬蟲框架减途。因為我最近正好在學(xué)習(xí) Kotlin 的 Coroutines...
-
為爬蟲框架構(gòu)建Selenium模塊酣藻、DSL模塊(Kotlin實現(xiàn))NetDiscovery是一款基于Vert.x、RxJava2實現(xiàn)的爬蟲框架观蜗。我最近添加了兩個模塊：Selenium模塊臊恋、DSL模塊。 一. ...
-
將驗證碼識別功能集成到現(xiàn)有的爬蟲框架驗證碼的識別 過年期間我曾經(jīng)寫過一篇文章《一次簡單的驗證碼識別以及思考》, 目前已經(jīng)對該功能做了一些優(yōu)化墓捻，可以支持幾種類型的驗證碼識別。其核心思...
-
一次簡單的驗證碼識別以及思考驗證碼 驗證碼（CAPTCHA）是“Completely Automated Public Turing test to tell Comput...
-
基于Vert.x和RxJava 2構(gòu)建通用的爬蟲框架最近由于業(yè)務(wù)需要監(jiān)控一些數(shù)據(jù)，雖然市面上有很多優(yōu)秀的爬蟲框架砖第，但是我仍然打算從頭開始實現(xiàn)一套完整的爬蟲框架撤卢。 在技術(shù)選型上，我沒有選擇Sprin...