我還是敗了涧狮。炕矮。。win下的maven一直想弄死我勋篓，我就去linux了吧享。

在centos桌面上創(chuàng)建快捷方式：
https://blog.csdn.net/qq_40741855/article/details/97917010?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

關(guān)于idea2019.3.3破解
有個jetbrains-agent魏割，直接把jar包拖進idea再重啟就成了譬嚣，這也太爽啦。

idea的scala配置
settings里面plugins搜scala插件下載
maven配置
先改好/etc/profile 的環(huán)境變臉钞它，再source一下讓他生效拜银，建個倉庫，記住路徑遭垛，（md筆記本鍵盤敲起來真不爽）再改一下settings尼桶。xml（在conf里），本地倉庫和mirror改一下锯仪。
用阿里云倉庫

export M2_HOME=/usr/local/maven/apache-maven-3.6.3
export M2=$M2_HOME/bin
export PATH=$M2:$PATH

/usr/local/maven/apache-maven-3.6.3
/usr/local/maven/mavenrepo

<localRepository>/usr/local/maven/mavenrepo</localRepository>

    <mirror>
        <id>aliyunmaven</id>
        <mirrorOf>*</mirrorOf>
        <name>aliyun maven</name>
        <url>https://maven.aliyun.com/repository/public</url>
    </mirror>
    
[Desktop Entry]
Name=IntelliJ IDEA
Comment=IntelliJ IDEA
Exec=/opt/idea/idea-IU-193.6494.35/bin/idea.sh
Icon=/opt/idea/idea-IU-193.6494.35/bin/idea.png
Terminal=false
Type=Application
Categories=Developer;

在idea上maven成功了泵督。。庶喜。

可以實現(xiàn)

一開始報jvm內(nèi)存不夠的問題小腊。
在這里修改

image.png

image.png

千萬注意spark和scala的版本要對應(yīng)起來救鲤。我在win和linux都沒對應(yīng)好。秩冈。本缠。所以報錯很多。

spark入问。2.4.4 對應(yīng)的scala是2.11.12

2020-3-14

安裝kettlehttps://www.cnblogs.com/tjp0210/p/11764394.html
https://sourceforge.net/projects/pentaho/files/Data%20Integration/

安裝xmanager：https://www.newasp.net/soft/467373.html

↑↑記得關(guān)防火墻

https://blog.csdn.net/u012475575/article/details/82870727?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

打開spoon.sh時報錯丹锹，沒有l(wèi)ibwebktgtk包：https://www.linuxidc.com/Linux/2016-06/132101.htm
先在CentOS或RHEL上安裝Nux Dextop倉庫：
https://www.linuxidc.com/Linux/2016-06/132101.htm

這個裝起來好慢啊。芬失。

image.png

出現(xiàn)了楣黍，一開始不能右鍵的原因是：沒有吧hadoop里的hdfs配置文件弄到kettle里面去

啟動hdfs了，再test麸折。start-all.sh或者start-dfs.sh
報錯：ojava.io.IOException: Cannot run program "lsb_release": error=2, 沒有那個文件或目錄
就是需要yum -y install redhat-lsb來解決锡凝。

image.png

報錯：ERROR [KarafLifecycleListener] The Kettle Karaf Lifecycle Listener failed to execute properly after waiting for 100 seconds. Releasing lifecycle hold, but some services may be unavailable

右鍵不成功，鼠標點幾下就很卡９柑洹窜锯！
我覺得是因為內(nèi)存不夠的關(guān)系。芭析。锚扎。
怎么辦呢
換個ETL工具？

image.png

曹樂馁启，我在linux界面直接打開了右鍵真的是驾孔，今天裝了個xmanager圖啥呢

image.png

2020-3-16

報錯：System memory 425197568 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
設(shè)置-Xms256m -Xmx1024m
怎么每個程序都要來一邊。惯疙。

image.png

spark-submit打印的信息太多翠勉，看不到輸出結(jié)果：
https://blog.csdn.net/jiezou12138/article/details/88876960?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

安裝nodejs：https://blog.csdn.net/qq_31708763/article/details/82690129

image.png

突然xshell連不上虛擬機 了，震驚霉颠。
今天下午狗又開始叫了对碌。我打開了窗戶！］镔恕朽们！找到你們了！兩只狗诉位，瑪?shù)缕锿眩瑃md小狗這么會叫，人家遛狗路過一下你也要叫苍糠，真特么煩叁丧。

xshell、連上了哈哈哈哈，為啥呢
上午win提醒我系統(tǒng)要更新拥娄，原來是1803坷衍？好像是，現(xiàn)在是1909了条舔，一開機枫耳，提示說vm ware可能用不了，要升級到15.5(我看網(wǎng)上說）孟抗。裝的是14.1.3迁杨？的vmware，結(jié)果在控制面板里把查看已安裝更新凄硼，從上往下刪铅协，刪一個，重啟一次摊沉，發(fā)現(xiàn)就能打開vmware了狐史，xshell也連得上，也能ping说墨、通了骏全。

安裝express框架

https://blog.csdn.net/twodogya/article/details/80182328

安裝jade：

https://blog.csdn.net/niewq/article/details/80297853
如果出現(xiàn)找不到j(luò)ade的報錯，就npm install jade --save在那個項目文件下

2020-3-17

又打不開vm了尼斧。姜贡。。棺棵。還是安一個15.5的vmware把楼咳。先把原來的卸載：https://blog.csdn.net/Zs0509/article/details/90244569

重新裝了vm15.5.1：
一開始安裝不了，只要把exe名字改掉就行烛恤，還是不行就重啟一下吧母怜，把后臺vm的程序都關(guān)了就行，重啟簡單一點缚柏。
無法獲取 vmci 驅(qū)動程序版本句柄無效解決辦法：
https://jingyan.baidu.com/article/a3a3f811ea5d2a8da2eb8aa1.html
就可以打開了苹熏。

You出問題了。船惨。連不上網(wǎng)柜裸，要配置網(wǎng)卡缕陕。

本機

image.png

image.png

image.png

image.png

我失敗了跨琳，還是去master虛擬機里面擴容了（因為裝kettle的時候說內(nèi)存不夠了）https://blog.csdn.net/Areigninhell/article/details/90403009
掛載點在/disk4上面自点，我就把kettle文件夾放到disk4了

還是不行。脉让。test失敗桂敛。shim不能loed。溅潜。突然發(fā)現(xiàn)术唬，權(quán)限不夠？９隼健４植帧！Ｉ杈琛＝枳恰！萝招！11
果然是因為權(quán)限的關(guān)系巴碗。
sudo 打開./spoon.sh tmd!!!!!!!!!!

haishiyou

還是有問題，清理個數(shù)據(jù)怎么這么麻煩即寒。python寫都沒這么麻煩

image.png

瑪?shù)孪鹣裩ostname改成主機名了才√了一個

行了，我差不多已經(jīng)死了母赵，隨便他了逸爵，等會看看能不嫩傳輸局

kettle安裝配置可能會出現(xiàn)的一些問題：https://blog.csdn.net/weinierzui/article/details/77931346
https://blog.csdn.net/cdmamata/article/details/56846895

hdfs基本命令：[https://blog.csdn.net/sunbocong/article/details/82855506?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task]

jar包沖突：刪掉一個https://blog.csdn.net/walykyy/article/details/90124534?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

又出現(xiàn)問題了。凹嘲。师倔。上傳成功，但是沒找到這個文件啊周蹭。趋艘。尷尬

image.png

沒存進去：？凶朗？

image.png

給普通用戶root權(quán)限：https://blog.csdn.net/weixin_39849189/article/details/80362767

我把

image.png

image.png

image.png

image.png

image.png

image.png

[root@master movielens]# hdfs dfs -cat /input_spark/movies.dat | head -5
1::Toy Story::Animation|Children's|Comedy
2::Jumanji::Adventure|Children's|Fantasy
3::Grumpier Old Men::Comedy|Romance
4::Waiting to Exhale::Comedy|Drama
5::Father of the Bride Part II::Comedy
cat: Unable to write to output stream.

揍移。。反肋。就好了那伐。。石蔗。kettle沒事干了喧锦。。抓督。燃少。。

報錯：System memory 425197568 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
-Xms256m -Xmx1024m
铃在。阵具。尷尬，類名打錯了

出來結(jié)果了：

Movies recommended for you(用戶 ID:推薦電影 ID:推薦分數(shù):推薦電影名稱):
1:3233:5.0872846:Smashing Time
1:1930:4.8514404:Cavalcade
1:3512:4.8493347:Return to Me
1:2760:4.8394413:Gambler, Theékos)
1:1131:4.822908:Jean de Florette
1:439:4.7534847:Dangerous Game
1:3517:4.7365184:Bells, The
1:1035:4.7099566:Sound of Music, The
1:2609:4.7043505:King of Masks, TheLian)
1:73:4.702996:Misérables, Les

Process finished with exit code 0

image.png

vim全是黃色方放：esc :nohl

image.png

spark集群運行：https://blog.csdn.net/qq_33689414/article/details/80232605

image.png

可以看到任務(wù)

spark-submit 
--class recommend.MovieLensALS  
--master spark://master:7077 
--executor-memory 1G 
--total-executor-cores 2  ~/IdeaProjects/Spark_Recommend_Dataframe/out/artifacts/Spark_Recommend_Dataframe_jar/Spark_Recommend_Dataframe.jar /input_spark  /disk4/movielens/personalRatings.dat  10 5 10

image.png

也出來了揣炕。帘皿。就是還是很慢。畸陡。鹰溜。

也就是說，一開始本地跑的時候丁恭，要這么寫：

val spark=SparkSession.builder().appName("MovieLensALS").master("local[2]").getOrCreate()

生成jar包去跑集群的時候改成master("spark://master:7077")