發(fā)簡信
IP屬地：安徽
-
網(wǎng)絡(luò)編程報錯
1秤茅、python 字典json字符串中文亂碼怎么辦？ #這是因?yàn)橹形囊?unicode 編碼了童叠，而默認(rèn)是以ASCII解析的框喳，中文不在ASCII編...
-
企業(yè)注冊地址相似度計算一、需求 對登記納稅人的注冊地址進(jìn)行相似度計算厦坛，發(fā)現(xiàn)單個納稅人可能存在的一址多注冊五垮。 二、數(shù)據(jù) 數(shù)據(jù)來源：登記納稅人數(shù)據(jù) 數(shù)據(jù)量：百萬級 部分?jǐn)?shù)...
-
Pyspark-簡介與環(huán)境搭建一粪般、概述 1.1 spark概述 Apache Spark是一個流行的實(shí)時處理框架拼余，它可以通過內(nèi)存計算的方式來實(shí)時的進(jìn)行數(shù)據(jù)分析。它起源于Apa...
-
Python獲取命令行參數(shù)方法
我們知道亩歹，把通過命令行執(zhí)行python腳本很簡單匙监，直接執(zhí)行python+文件路徑+文件名就可以了 如果想在命令行執(zhí)行py腳本的時候?qū)ython...
-
CDH大數(shù)據(jù)平臺相關(guān)服務(wù)監(jiān)控之前單位的CDH集群部分組件老是會掛掉，每天人為的檢查和重啟服務(wù)小作，太麻煩亭姥，故寫個相關(guān)服務(wù)監(jiān)控的腳本發(fā)送消息和自動重啟服務(wù)。 一顾稀、環(huán)境準(zhǔn)備 Pyt...
-
Spark執(zhí)行錯誤-->數(shù)據(jù)量大時導(dǎo)致yarn崩潰
一达罗、問題現(xiàn)象說明： 1， IQL在執(zhí)行數(shù)據(jù)量超過1億條數(shù)據(jù)的時候静秆，執(zhí)行不出來結(jié)果 2粮揉， 在執(zhí)行超過四秒以后Yarn的node節(jié)點(diǎn)開始出問題 3，...
-
Spark執(zhí)行錯誤--> Task分配了但是一直不執(zhí)行
一抚笔、問題現(xiàn)象 1扶认，同樣一個執(zhí)行語句在Spark-shell中就可以執(zhí)行，但是在Spark-submit中執(zhí)行時等待了很長時間但是Task一直沒有...
-
CDH大數(shù)據(jù)服務(wù)器資源要求CDH集群殊橙，所需要和后續(xù)需要的一些配置辐宾。
-
kafka可視化客戶端工具（Kafka Tool）的使用一狱从、下載 下載地址：http://www.kafkatool.com/download.html 我們的kafka版本是2.11（kafka_2...