運(yùn)行spark下的MovieLensALS 準(zhǔn)備： 將代碼粘貼到idea中太闺，會(huì)出現(xiàn)兩個(gè)問(wèn)題：scopt跺讯，可以在github中找到這個(gè)包枢贿，但需要自...

Spark-Streaming: 分析tomcat的日志 要求統(tǒng)計(jì)TOP 100的 IP 通過(guò)spark streaming得到(ip, ip_...

spark sql 通過(guò)Spark SQL 查詢(xún)hive中的數(shù)據(jù) 要求提供操作截圖 切換數(shù)據(jù)庫(kù)，選擇指定的表刀脏； 操作 3.編寫(xiě)sql 寫(xiě)一個(gè)簡(jiǎn)單...

hive 相關(guān) 搭建hadoop和hive局荚，mysql的環(huán)境，過(guò)程截圖 1.hadoop install 2.mysql install 3....

Spark 運(yùn)行架構(gòu) 解決原始數(shù)據(jù)亂碼的問(wèn)題 使用atom可以檢查出文件的編碼格式為gb2312 使用iconv可以直接轉(zhuǎn)碼火本，遇到錯(cuò)誤忽略掉即可...

統(tǒng)計(jì)地區(qū)人數(shù) 提取出第四個(gè)字段危队，然后是一個(gè)wordcount程序； 具體代碼 3.中文字符需要特別處理的問(wèn)題钙畔，我沒(méi)遇到 按手機(jī)號(hào)碼（第3個(gè)字段）...