發(fā)簡(jiǎn)信
IP屬地：貴州
-
scrapy+scrapy_splash + docker爬取JS動(dòng)態(tài)頁(yè)面最近一段時(shí)間做了一個(gè)特別惡心的項(xiàng)目时呀，先來(lái)吐槽一下馆铁，項(xiàng)目需求大致就是給網(wǎng)址分類淳玩，鑒別出它是屬于什么類型的網(wǎng)站牙勘，比如娛樂(lè)游戲陌兑、音樂(lè)影視靠抑、新聞咨詢等肃续。...
-
Redis的使用Redis是一個(gè)用ANSI C語(yǔ)言編寫的奢驯，基于內(nèi)存并且可以持久化的日志型申钩、高性能key_value數(shù)據(jù)庫(kù)。它通常被稱為數(shù)據(jù)結(jié)構(gòu)服務(wù)器瘪阁，因?yàn)槠浯鎯?chǔ)...
-
HBase的使用
HBase是一個(gè)在HDFS上開發(fā)的面向列的分布式數(shù)據(jù)庫(kù)撒遣。如果需要實(shí)時(shí)地隨機(jī)訪問(wèn)超大規(guī)模數(shù)據(jù)集，就可以使用HBase管跺。本篇介紹HBase的基礎(chǔ)知識(shí)...
-
Hive的使用Hive是一個(gè)構(gòu)建在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)框架义黎，是一個(gè)通用的、可伸縮的數(shù)據(jù)處理平臺(tái)豁跑，它設(shè)計(jì)的目的是讓精通SQL技能的分析師能夠?qū)Υ娣旁贖DFS...
-
HDFS中API的使用
在項(xiàng)目開發(fā)中廉涕，有時(shí)我們需要通過(guò)HDFS的api來(lái)對(duì)文件進(jìn)行操作，比如將數(shù)據(jù)上傳到HDFS或者從HDFS獲取數(shù)據(jù)等艇拍。本篇來(lái)介紹一下HDFS中API...
-
HDFS常用命令操作
HDFS（Hadoop Distributed File System）是一種分布式文件系統(tǒng)狐蜕，它具有高容錯(cuò)的特點(diǎn)，并且可以部署在廉價(jià)的通用硬件上...
-
Zookeeper的使用對(duì)于Zookeeper的介紹和安裝教程這里不再贅述卸夕，網(wǎng)上很多資料都介紹得很專業(yè)层释，上一篇文章在搭建Hadoop集群的時(shí)候也簡(jiǎn)單介紹了下。本篇主要內(nèi)...
-
實(shí)際環(huán)境中Hadoop集群的搭建
對(duì)于Hadoop的背景介紹快集，這里就不敘述了贡羔，本篇只介紹生產(chǎn)環(huán)境中Hadoop集群的搭建廉白。本集群采用HA模式，一共4臺(tái)服務(wù)器,一個(gè)名字節(jié)點(diǎn)治力，一個(gè)第...
-
OKHttp3源碼解析
上一篇通過(guò)分析Retrofit2的源碼蒙秒，我們了解了整個(gè)請(qǐng)求流程的底層實(shí)現(xiàn)，其最終是通過(guò)OKHttp3中的OkHttpClient對(duì)象創(chuàng)建一個(gè)Re...