本人最近在jupyter notebook中學習spark按脚,但是總是提示一下錯誤;
Exception: Python in worker has different version 2.7 than that in driver 3.6, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.
查了一下本系統(tǒng)python默認的是2.7 但是jupyter notebook中配置的是python3
此時查看系統(tǒng)環(huán)境變量設(shè)置為,路徑為~/.bash_profile,為用戶級環(huán)境變量皮迟。
export PYSPARK_PYTHON=/usr/local/bin/python3
解決辦法為在程序中重新設(shè)置一下環(huán)境變量,即可:
import os
os.environ["PYSPARK_PYTHON"] = "/usr/local/bin/python3"
同樣在cmd中端里搬泥,如果報錯,也需要重新執(zhí)行一下,才可生效伏尼。
. ~/.bash_profile
如有不明白的同學忿檩,可去了解下linux的環(huán)境變量和配置。