win +本地pyspark

參考:配置本地單機pyspark
https://www.cnblogs.com/jackchen-Net/p/6667205.html#_label3

在sitepackages下新建pyspark.pth 文件剂娄,并添加D:\apps\spark\spark-2.2.1-bin-hadoop2.7\python

submit一個py文件報錯
ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
說明沒有hadoop執(zhí)行文件袖外,因為我們并沒安裝hadoop:

另外參考此篇hadoop安裝(記住也物,僅僅是hadoop)
http://blog.csdn.net/yaoqiwaimai/article/details/59114881
winutils.exe chmod 777 c:\tmp\hive(先創(chuàng)建文件夾后再執(zhí)行)
后面不要執(zhí)行spark-shell(這是基于scala的铺厨,我們目的是pyspark)
winutils.exe版本不對(現(xiàn)在版本hadoop2.7.3)练慕,重新下載(需要的話留下你的email)增蹭。hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64-master.zip解壓并將所有子文件復(fù)制到hadoop的bin文件夾中

再次提交腳本還是error:
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
將自己jdk9改為jdk8就沒有問題了(自己坑自己)

警示信息太多:spark home的conf文件中l(wèi)ogXXX復(fù)制媚赖,去掉.template狈孔,修改log4j.rootCategory=WARN, console 這里INFO改為WARN
submit的測試腳本


image.png
# encoding: utf-8
import os
import sys
# os.environ['SPARK_HOME'] = r"D:\apps\spark\spark-2.2.1-bin-hadoop2.7"
# os.environ['HADOOP_HOME'] = r"D:\apps\spark\"

# You might need to enter your local IP
# os.environ['SPARK_LOCAL_IP']="192.168.2.138"

# Path for pyspark and py4j
sys.path.append(r"D:\apps\spark\spark-2.2.1-bin-hadoop2.7\python")
# sys.path.append(r"D:\apps\spark\spark-2.2.1-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip") #pip install py4j后即可不要這句


try:
    from pyspark import SparkContext
    from pyspark import SparkConf

    print ("Successfully imported Spark Modules")
except ImportError as e:
    print ("Can not import Spark Modules", e)
    sys.exit(1)

sc = SparkContext(master='local')
words = sc.parallelize(["scala", "java", "hadoop", "spark", "akka"])
print("統(tǒng)計結(jié)果", words.count())
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市奴迅,隨后出現(xiàn)的幾起案子青责,更是在濱河造成了極大的恐慌,老刑警劉巖取具,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件脖隶,死亡現(xiàn)場離奇詭異,居然都是意外死亡暇检,警方通過查閱死者的電腦和手機产阱,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來块仆,“玉大人构蹬,你說我怎么就攤上這事』诰荩” “怎么了庄敛?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長科汗。 經(jīng)常有香客問我藻烤,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任隐绵,我火速辦了婚禮之众,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘依许。我一直安慰自己棺禾,他們只是感情好,可當我...
    茶點故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布峭跳。 她就那樣靜靜地躺著膘婶,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蛀醉。 梳的紋絲不亂的頭發(fā)上悬襟,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天,我揣著相機與錄音拯刁,去河邊找鬼脊岳。 笑死,一個胖子當著我的面吹牛垛玻,可吹牛的內(nèi)容都是我干的割捅。 我是一名探鬼主播,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼帚桩,長吁一口氣:“原來是場噩夢啊……” “哼亿驾!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起账嚎,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤莫瞬,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后郭蕉,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體疼邀,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年召锈,在試婚紗的時候發(fā)現(xiàn)自己被綠了旁振。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,865評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡烟勋,死狀恐怖规求,靈堂內(nèi)的尸體忽然破棺而出筐付,到底是詐尸還是另有隱情卵惦,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布瓦戚,位于F島的核電站沮尿,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜畜疾,卻給世界環(huán)境...
    茶點故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一赴邻、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧啡捶,春花似錦姥敛、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至了赌,卻和暖如春墨榄,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背勿她。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工袄秩, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人逢并。 一個月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓之剧,卻偏偏與公主長得像,于是被迫代替她去往敵國和親筒狠。 傳聞我的和親對象是個殘疾皇子猪狈,可洞房花燭夜當晚...
    茶點故事閱讀 45,870評論 2 361

推薦閱讀更多精彩內(nèi)容