2018年愛飛狗第一個版本上線，運(yùn)營到2019年中關(guān)閉惶室。爬蟲以及數(shù)據(jù)一直沒有中斷啄踊，只是不想去做產(chǎn)品維護(hù)了而已。2020年底勺远，自己重新將這個產(chǎn)品定位為自己的一個技術(shù)實(shí)踐的產(chǎn)物，...
發(fā)簡信
IP屬地：福建
-
愛飛狗技術(shù)架構(gòu)升級 -
淘寶買家訂單導(dǎo)出最近想分析一下2018年10月第一次入了偉力的12428小車以后在模型上的消費(fèi)，但是從2018年到今年很多的訂單易稠。本想自己截圖一下然后計算的，但發(fā)現(xiàn)非常的麻煩包蓝。淘寶又沒有工具...
-
新3D打印機(jī)到貨Creality Ender 515年的時候驶社，腦袋一熱，買了一個3D打印機(jī)测萎。當(dāng)時沒有了解清楚情況亡电，誤買了杭州銘展網(wǎng)絡(luò)科技的MBot3D Cube打印機(jī)。以為是個MakerBot 3D的打印機(jī)硅瞧。后來研究了一些...
-
IO模型演進(jìn)變化史：使用libevent和libev
構(gòu)建現(xiàn)代的server應(yīng)用程序須要以某種方法同一時候接收數(shù)百份乒、數(shù)千甚至數(shù)萬個事件，不管它們是內(nèi)部請求還是網(wǎng)絡(luò)連接腕唧，都要有效地處理它們的操作或辖。有很多解決方式，但事件驅(qū)動也被廣泛...
-
HIVE快速入門教程1簡介
Apache Hive可以幫助您快速查詢和管理大型數(shù)據(jù)集枣接。 它是Hadoop生態(tài)系統(tǒng)的ETL工具颂暇。 在本教程中，您將學(xué)習(xí)Hive的重要主題但惶，如HQL查詢耳鸯，數(shù)據(jù)提取，分區(qū)膀曾，bu...
-
你要的免費(fèi)Proxy資源全在這里了
地址：https://github.com/derekhe/ProxyPool 介紹 在《爬蟲實(shí)戰(zhàn)：從數(shù)據(jù)到產(chǎn)品》一書中县爬，我講到了一個基于ProxyBroker的代理池。經(jīng)過...
-
使用k3s減少k8s成本
愛飛狗后臺的數(shù)據(jù)爬蟲以及數(shù)據(jù)服務(wù)器資源都部署在k8s上添谊，使用rancher搭建财喳。在不影響太多性能的情況下盡量選擇最低配置的機(jī)器。對于內(nèi)存不足的情況適當(dāng)?shù)氖褂媒粨Q文件代替（sw...
