28篇文章 · 40324字 · 1人關(guān)注
-
Hbase簡介1.Hbase起源 HBase是一個開源的非關(guān)系型分布式數(shù)據(jù)庫伸辟，它參考了谷歌的BigTable建模熄守，實現(xiàn)的編程語言為Java幢码。它是Apache軟...
-
Spark RDD運行原理詳解彈性分布式數(shù)據(jù)集RDD表示一個分區(qū)數(shù)據(jù)元素的集合熙卡，可以在其上進行并行操作。它是Spark的主要數(shù)據(jù)抽象概念扶供。它是Spark庫中定義的一個抽象類暂论。...
-
大數(shù)據(jù)處理框架Spark簡介Spark是一個基于內(nèi)存的用于處理、分析大數(shù)據(jù)的集群計算框架。Spark最初由美國加州大學(xué)伯克利分校（UC Berkelely）的AMP（Alg...
-
分布式文件系統(tǒng)HDFS1.HDFS簡介 正如其名充择，HDFS（Hadoop Distribution File System）是一個分布式文件系統(tǒng)德玫，它在商用服務(wù)器集群中...
-
大數(shù)據(jù)Hadoop框架簡介Hadoop發(fā)展簡史 Hadoop最初是由Apache Lucene項目的創(chuàng)始人DougCutting開發(fā)的文本搜索庫。Hadoop源自始于20...
-
Mybatis分頁插件的使用流程
如果你也在用Mybatis聪铺，建議嘗試該分頁插件化焕，這一定是最方便使用的分頁插件。該插件支持任何復(fù)雜的單表铃剔、多表分頁撒桨。 1.引入PageHelper...
-
Mybatis動態(tài)SQL的使用方法
Mybatis的強大特性之一便是它的動態(tài)SQL。在實際開發(fā)中键兜，數(shù)據(jù)庫的查詢比較復(fù)雜凤类，需要在不同的邏輯中執(zhí)行不同的SQL語句。我們往往要根據(jù)各種不...
-
Windows上的PyCharm 遠程連接調(diào)試pyspark在實驗室配置了一個Spark集群普气，傳統(tǒng)的方法就是在Windows本地開發(fā)項目谜疤，完了后打包，然后上傳到Linux服務(wù)器上现诀，最后執(zhí)行spark-su...
-
Apache Spark之文件讀寫
除了對本地文件系統(tǒng)進行讀寫以外夷磕，Spark還支持很多常見的文件格式（文本文件、JSON）和文件系統(tǒng)（HDFS）和數(shù)據(jù)庫（MySQL仔沿、Hive坐桩、H...
