一倦畅、pyspark(Python環(huán)境下搭建spark)
1侥涵、https://blog.csdn.net/zhongjunlang/article/details/80816711
#? ? 注意一:
下載完解壓包之后對解壓包進(jìn)行解壓狡汉,注意存放的路徑一定不能帶空格尤辱,否則添加環(huán)境變量path的時候會找不到路徑锐锣。
#注意二:
pycharm中運(yùn)行代碼的時候記得添加
#環(huán)境變量否則還是會報錯:錯誤如下
Exception in thread "main" java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CONN_INFO_PATH
#添加倆個環(huán)境變量就ok
os.environ['SPARK_HOME']="G:\spark\spark_2.3.1_bin_hadoop2.7"
sys.path.append("G:\spark\spark_2.3.1_bin_hadoop2.7\python")
#注意三? ? no module name resource? ?的錯誤
這個錯誤糾結(jié)了很久其實是沒導(dǎo)入本地資源導(dǎo)致(自己猜想也有可能版本不對)
解決辦法(親測有效)
注意四: 在調(diào)用mysql數(shù)據(jù)庫的時候
?java.sql.SQLException: No suitable driver? 的錯誤
解決辦法:
https://blog.csdn.net/helloxiaozhe/article/details/81027196
~~~下載mysql-connector-java-5.1.44.jar
下載地址:https://dev.mysql.com/downloads/connector/j/
按照網(wǎng)址操作親測問題解決