發(fā)簡信
IP屬地：湖北
-
redis學(xué)習(xí)[toc] redis 數(shù)據(jù)結(jié)構(gòu) 字符串 setnx可以作為分布式鎖的實現(xiàn)方法； 內(nèi)部編碼 哈希表 內(nèi)部編碼 ziplistimage.png ...
-
摘要
1、站在書脊之上递礼，我可以飛躍眼前的圍墻肿孵，借文字之翼灶壶，我可以抵達(dá)世界之巔灾茁，這是自由牧抽，只有閱讀時的人生后無追兵构回，閱讀時夏块，是我在追尋上帝的腳步。2纤掸、成...
-
hadoop生態(tài)搭建（包括hbase,hive,hue等）
重要tip 項目git地址 hadoop搭建部分脐供，使用了kiwenlau的hadoop dockefile。 注意借跪，hadoop的分布式是基于多...
-
搜索詞推薦
使用golang開發(fā)政己，借助字典樹結(jié)構(gòu)+堆的數(shù)據(jù)結(jié)構(gòu)，實現(xiàn)了us級別的搜索前綴詞和熱門搜索詞的獲取掏愁。 相關(guān)鏈接demo相關(guān)github 返回樣例
-
數(shù)據(jù)平臺實踐②——Logstash+Elasticsearch+Kibana簡介 在上一次的數(shù)據(jù)平臺實踐①中歇由，對基于Flume，Kafka和Spark Streaming的數(shù)據(jù)平臺組合做了介紹果港，這一次對業(yè)界流行的ELK組...
-
Tip：Hadoop+Idea（本地測試+遠(yuǎn)程調(diào)試）
MapReduce調(diào)試常見情況 Idea是一款很贊的IDE沦泌，結(jié)合Hadoop可以做本地測試+遠(yuǎn)程調(diào)試。首先辛掠，我們知道針對MapReduce有以下...
-
數(shù)據(jù)平臺實踐①——Flume+Kafka+SparkStreaming(pyspark)蜻蜓點水 Flume——數(shù)據(jù)采集 如果說谢谦，爬蟲是采集外部數(shù)據(jù)的常用手段的話，那么萝衩，F(xiàn)lume就是采集內(nèi)部數(shù)據(jù)的常用手段之一（logstash也是...
-
爬蟲之scrapy-splash——scrapy+js渲染容器
簡介 scrapy作為爬蟲利器回挽，我就不多說了。常見的結(jié)合js的爬蟲猩谊，一般用來扒取網(wǎng)頁動態(tài)內(nèi)容千劈，就是通過操作js獲取渲染的內(nèi)容。現(xiàn)在大部分網(wǎng)站都是...
-
keystonejs試手簡介 keystonejs是一款數(shù)據(jù)庫驅(qū)動的基于Express和MongoDB開發(fā)的node框架牌捷。keystonejs可以被理解成是一款cms队塘。...