15篇文章 · 11635字 · 1人關(guān)注
-
Hive中常用的字符串操作
一、準(zhǔn)備 創(chuàng)建虛表： echo "X" >> dual.tsvhadoop fs -put dual.tsv '/data//'create t...
-
【Spark學(xué)習(xí)筆記】Dataframe操作大全
1. Dataframe的生成 1.1 通過 toDF()函數(shù)創(chuàng)建 Seq+toDF 注意：如果直接用toDF()而不指定列名字，那么默認(rèn)列名...
-
【Hive學(xué)習(xí)筆記】Hive常見面試題場景一：分組求TopN 先看數(shù)據(jù)： 好像把小編的數(shù)學(xué)成績暴露了咆爽，現(xiàn)在需要求每一門科目，成績排名前兩名的同學(xué)。 使用HiveSQL常用的方式為： ...
-
【Spark學(xué)習(xí)筆記】ansj詞性說明
背景 Ansj 是一個(gè)開源的 Java 中文分詞工具蔚鸥，基于中科院的 ICTCLAS 中文分詞算法，比其他常用的開源分詞工具（如mmseg4j）的...
-
【Spark學(xué)習(xí)筆記】Spark下的四種中文分詞工具
1. Spark下四種中文分詞工具使用 hanLP ansj jieba fudannlp 2. 獲取四種分詞工具 在maven 項(xiàng)目工程下的 ...
-
【Spark學(xué)習(xí)筆記】Spark訪問hdfs本篇來介紹一下通過Spark來讀取和HDFS上的數(shù)據(jù)许赃，主要包含四方面的內(nèi)容：將RDD寫入HDFS止喷、讀取HDFS上的文件、將HDFS上的文件添加到...
-
【Spark學(xué)習(xí)筆記】 Scala DataFrame操作大全
1混聊、創(chuàng)建DataFrame本文所使用的DataFrame是通過讀取mysql數(shù)據(jù)庫獲得的弹谁，代碼如下: 2、DataFrame基本動(dòng)作運(yùn)算2.1 ...
-
【Spark學(xué)習(xí)筆記】Scala語法學(xué)習(xí)列表： scala官方文檔 scala cheat twitter Scala 課堂 有趣的 Scala 語言: 使用遞歸的方式去思考 《s...
-
【Spark學(xué)習(xí)筆記】KeyValue對(duì)RDDs創(chuàng)建KeyValue對(duì)RDDs：使用map()函數(shù)，返回key/value對(duì)例如预愤，包含數(shù)行數(shù)據(jù)的RDD沟于，把每行數(shù)據(jù)的第一個(gè)單詞作為keys va...
