發(fā)簡信
IP屬地：上海
-
go1.16新特性 內(nèi)置內(nèi)嵌資源文件的支持
go1.16已經(jīng)入凍結(jié)階段炎滞，這一次較重大的更新是對內(nèi)嵌資源文件的支持。 內(nèi)嵌資源文件 典型場景：當你需要在云應用程序中實現(xiàn)一個自動發(fā)送郵件的功能...
-
更適合爬蟲的nosql MongoDB
為什么nosql 在一個更加普遍通用的爬蟲程序中，原始數(shù)據(jù)往往是雜亂且沒有規(guī)律的精居，將這些數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫中的成本很高，定義schema就是...
-
golang反射自定義tag
維基百科中反射的定義：在計算機科學中，反射是指計算機程序在運行時（Run time）可以訪問、檢測和修改它本身狀態(tài)或行為的一種能力靡菇。用比喻來說重归，...
-
爬蟲2 headless chrome
Headless Chrome 是 Chrome 瀏覽器的無界面形態(tài)，使用命令行的形式替代GUI厦凤，可以使用GUI模式下Chrome的功能鼻吮。一般情...
-
爬蟲1 collycolly colly[https://github.com/gocolly/colly]是一個個go語言實現(xiàn)的輕量快速的爬蟲框架，提供了簡單直...
-
hive外部表分區(qū)
外部表和內(nèi)部表 內(nèi)部表：數(shù)據(jù)由hive自身管理 存儲在hive指定的hdfs目錄中 刪除會刪除數(shù)據(jù)本身外部表（external）：數(shù)據(jù)存儲在用戶...
-
HDFS讀流程HDFS一個分布式文件系統(tǒng)较鼓，是Hadoop核心的一部分椎木。HDFS采用主從結(jié)構(gòu)模型，一個HDFS集群是由一個NameNode和若干個DataNod...
-
golang實現(xiàn)簡單的流式處理
實現(xiàn)一個最簡單的類似spark的流式處理流程包含map和filter數(shù)據(jù) map函數(shù) fliter函數(shù) 所有數(shù)據(jù)+1 > 過濾出偶數(shù) > 過濾出...
-
golang Error Wrapping
go1.13中引入err wraping機制1.13前函數(shù)返回一個error errors.New()創(chuàng)建一個errorStringerrorS...