前言 在安裝后hadoop之后，接下來(lái)需要安裝的就是Spark误趴。 scala-2.11.7下載與安裝 具體步驟參見上一篇博文 Spark下載 為了方便霹琼，我直接是進(jìn)入到了/us...
發(fā)簡(jiǎn)信
IP屬地：加州
-
spark-2.2.0安裝和部署——集群學(xué)習(xí)日記 -
Ubuntu分區(qū)方案(菜鳥方案、常用方案和進(jìn)階方案)
菜鳥方案 “/”與swap兩個(gè)分區(qū)就可以應(yīng)付絕大多數(shù)的應(yīng)用 常用方案 分為3個(gè)區(qū) 1. 掛載點(diǎn)/；主分區(qū)枣申；安裝系統(tǒng)和軟件售葡；大小為30G；分區(qū)格式為ext4忠藤； 2. 掛載點(diǎn)/h...
-
psql基礎(chǔ)語(yǔ)句及數(shù)據(jù)庫(kù)導(dǎo)出
連接數(shù)據(jù)庫(kù) # psql [數(shù)據(jù)庫(kù)名] 查看表 # \dt 查看表的所有字段 # \dt [表名] 列出所有數(shù)據(jù)庫(kù) # \l 退出psql # \q 查詢 # select ...
-
十步完全理解 SQL
摘自【十步完全理解 SQL】 很多程序員視 SQL 為洪水猛獸挟伙。SQL 是一種為數(shù)不多的聲明性語(yǔ)言，它的運(yùn)行方式完全不同于我們所熟知的命令行語(yǔ)言模孩、面向?qū)ο蟮某绦蛘Z(yǔ)言尖阔、甚至是函...
-
Nginx從聽說(shuō)到學(xué)會(huì)
第一章 Nginx簡(jiǎn)介 Nginx是什么 沒(méi)有聽過(guò)Nginx？那么一定聽過(guò)它的“同行”Apache吧榨咐！Nginx同Apache一樣都是一種WEB服務(wù)器介却。基于REST架構(gòu)...
-
Kafka入門經(jīng)典教程Kafka入門經(jīng)典教程-Kafka-about云開發(fā) http://www.aboutyun.com/thread-12882-1-1.html 1.Kafka獨(dú)特設(shè)計(jì)在什...
-
列存儲(chǔ)格式Parquet淺析Parquet調(diào)研報(bào)告 1. 概述 1.1 簡(jiǎn)介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲(chǔ)格式块茁，它可以兼容Hadoop生態(tài)圈中大多數(shù)計(jì)算框架(Had...
-
Spark與Apache Parquet七十年代時(shí)齿坷，有一長(zhǎng)輩連練鐵砂掌，功夫成了之后数焊，可以掌斷五磚永淌，凌空碎磚，威風(fēng)得不得了昌跌。時(shí)至八十年代仰禀，只能掌斷三磚。到九十年代只能一磚一磚的斷了蚕愤。他說(shuō)答恶，一直以為功力退步了，后來(lái)才...
-
筆記：新手的Spark指南macOS Sierra 10.12.4 Spark 1.6.2 Python 2.7 轉(zhuǎn)載請(qǐng)注明出處：http://blog.csdn.net/MrLevo520/arti...
-
spark 學(xué)習(xí)筆記
Spark學(xué)習(xí)筆記 Data Source->Kafka->Spark Streaming->Parquet->Spark SQL(SparkSQL可以結(jié)合ML萍诱、GraphX...
-
Superset搭建及其簡(jiǎn)單使用背景 老板一直反饋說(shuō)我們給不了他想要的, 關(guān)鍵每次他想要的都不一樣, 每實(shí)現(xiàn)一個(gè)新功能, 他就想要一堆相關(guān)的信息, 我要將這些信息都給他做成網(wǎng)頁(yè), 用圖表展示出來(lái), 各種維度...
-
Spark基本概念快速入門Spark集群 一組計(jì)算機(jī)的集合悬嗓，每個(gè)計(jì)算機(jī)節(jié)點(diǎn)作為獨(dú)立的計(jì)算資源，又可以虛擬出多個(gè)具備計(jì)算能力的虛擬機(jī)裕坊，這些虛擬機(jī)是集群中的計(jì)算單元包竹。Spark的核心模塊專注于調(diào)度和管理虛...
-
如何對(duì)MongoDB 3.2.7進(jìn)行用戶權(quán)限管理配置
上次寫了一篇在CentOS7上源碼安裝MongoDB 3.2.7，完成了MongoDB 3.2.7的安裝籍凝，但需要應(yīng)用到實(shí)際生產(chǎn)環(huán)境中周瞎，安全問(wèn)題是必須要處理的。本篇主要介紹如何...
-
mongodb分片初探為什么要分片 增加單臺(tái)服務(wù)器可用的磁盤空間 減輕單臺(tái)服務(wù)器的負(fù)載 處理單個(gè)mongod無(wú)法承受的吞吐量 分片原理 mongos路由 配置服務(wù)器 shard分片 如何分片 機(jī)器...
-
啟動(dòng)報(bào)錯(cuò)：ERROR: child process failed, exited with error number 1
啟動(dòng)報(bào)錯(cuò)：ERROR: child process failed, exited with error number 1 原因：上次mongodb未正常關(guān)閉 解決方法： 重新...
-
mongoDB 學(xué)習(xí)筆記純干貨（mongoose饵蒂、增刪改查声诸、聚合、索引退盯、連接彼乌、備份與恢復(fù)泻肯、監(jiān)控等等）最后更新時(shí)間：2017-07-13 11:10:49 原始文章鏈接：http://www.lovebxm.com/2017/07/13/mongodb_primer/ Mon...
-
MongoDB權(quán)限設(shè)置
本文閱讀對(duì)象： MongoDB權(quán)限設(shè)置不熟悉者 MongoDB開發(fā)者 其他對(duì)MongoDB感興趣的開發(fā)者 對(duì)技術(shù)感興趣的吃瓜群眾 MongoDB是一個(gè)基于分布式文件存儲(chǔ)的數(shù)據(jù)...
-
基于AWS S3協(xié)議搭建個(gè)人云存儲(chǔ)服務(wù)
相信風(fēng)靡全球的亞馬遜 AWS S3 的存儲(chǔ)云服務(wù)大家已經(jīng)耳熟能詳了，如何自己搭建一個(gè)私有的S3存儲(chǔ)云服務(wù)呢慰照？ Minio 提供對(duì)象存儲(chǔ)服務(wù)灶挟，兼容了 AWS S3 存儲(chǔ)協(xié)議，用...