一北救、獲取數(shù)據(jù)集
??我們使用的實(shí)驗(yàn)數(shù)據(jù)集是一個(gè)電影推薦方面的常用數(shù)據(jù)集MovieLens荐操。它能應(yīng)用于推薦系統(tǒng)和其它可能的機(jī)器學(xué)習(xí)任務(wù)芜抒，適合作為示例數(shù)據(jù)集。
??數(shù)據(jù)下載地址：
??https://grouplens.org/datasets/movielens/100k/
??下載并解壓數(shù)據(jù)集托启，關(guān)于數(shù)據(jù)集的更多信息可以從README獲得宅倒，包括每個(gè)文件里的變量定義。我們可以使用head命令來查看各個(gè)文件中的內(nèi)容屯耸。
MacBook-Pro:ml-100k xp$ head -5 u.user
1|24|M|technician|85711
2|53|F|other|94043
3|23|M|writer|32067
4|24|M|technician|43537
5|33|F|other|15213
MacBook-Pro:ml-100k xp$ head -5 u.item
1|Toy Story (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Toy%20Story%20(1995)|0|0|0|1|1|1|0|0|0|0|0|0|0|0|0|0|0|0|0
2|GoldenEye (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?GoldenEye%20(1995)|0|1|1|0|0|0|0|0|0|0|0|0|0|0|0|0|1|0|0
3|Four Rooms (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Four%20Rooms%20(1995)|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|0|1|0|0
4|Get Shorty (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Get%20Shorty%20(1995)|0|1|0|0|0|1|0|0|1|0|0|0|0|0|0|0|0|0|0
5|Copycat (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Copycat%20(1995)|0|0|0|0|0|0|1|0|1|0|0|0|0|0|0|0|1|0|0
二拐迁、可視化數(shù)據(jù)
??有數(shù)據(jù)后蹭劈，我們來啟動Spark交互式終端來探索數(shù)據(jù)。我們使用IPython終端和matplotlib庫對數(shù)據(jù)進(jìn)行處理和可視化线召。
??IPython的開發(fā)者吸收了標(biāo)準(zhǔn)解釋器的基本概念铺韧，在此基礎(chǔ)上進(jìn)行了大量的改進(jìn)，創(chuàng)造出一個(gè)令人驚奇的工具缓淹。在它的主頁上是這么說的：“這是一個(gè)增強(qiáng)的交互式Pythonshell哈打。”具有tab補(bǔ)全讯壶，對象自省料仗，強(qiáng)大的歷史機(jī)制，內(nèi)嵌的源代碼編輯伏蚊，集成Python調(diào)試器立轧，%run機(jī)制，宏躏吊，創(chuàng)建多個(gè)環(huán)境以及調(diào)用系統(tǒng)shell的能力氛改。
??1）IPython與標(biāo)準(zhǔn)Python的最大區(qū)別在于，Ipython會對命令提示符的每一行進(jìn)行編號比伏。
??2）tab補(bǔ)全
??3）歷史機(jī)制
??hist可以快速查看那些輸入的歷史記錄平窘。
??hist-n可以快速查看并去掉歷史記錄中的序號，這樣你就可以方便的將代碼復(fù)制到一個(gè)文本編輯器中凳怨。
??4）斷點(diǎn)調(diào)試：如果你的程序是由命令行開始執(zhí)行的，即在命令行下輸入python foo.py（大部分 Python 程序都是）肤舞，那么你還可以利用 IPython在你的程序任意地方進(jìn)行斷點(diǎn)調(diào)試。
??注：ipython-notebook已經(jīng)整合（或者改名）到“Jupyter”中了芒率。在http://jupyter.readthedocs.org/en/latest/install.html這個(gè)網(wǎng)站上，有著極其簡便的python－notebook的安裝方式篙顺。
??1.Jupyter搭建,可以使用pip命令進(jìn)行安裝：
??（參考：https://jupyter.readthedocs.io/en/latest/install.html）
pip3 install --upgrade pip
pip3 install jupyter
- Jupyter使用：
jupyter notebook
此時(shí)即啟動了jupyter notebook，此時(shí)瀏覽器中會彈出notebook窗口（http://localhost:8888/tree）德玫。如下圖所示：
??Files下面列出了當(dāng)前用戶目錄下所有的文件，結(jié)合右上角的upload和new你可以方便地進(jìn)行文件操作宰僧。你先選擇一個(gè)目錄材彪，在該目錄下，new一個(gè)python3，這樣當(dāng)前目錄即會出現(xiàn)一個(gè)“.ipynb”文件段化，同時(shí)，瀏覽器會彈新的標(biāo)簽頁讓你編輯該“.ipynb”文件雄嚣。
??（參考：Mac下Jupyter(即IPython-notebook)的搭建及使用）
三、運(yùn)行示例
本次我們將在jupyter notebook上運(yùn)行《Spark機(jī)器學(xué)習(xí)》第三章示例现诀。
點(diǎn)擊Machine Learning with Spark, Chapter 3. MovieLens 100k Analysis..ipynb文件履肃，瀏覽器會彈新的標(biāo)簽頁顯示運(yùn)行結(jié)果如下：
??至此，Spark 處理MovieLens 100k數(shù)據(jù)集案例運(yùn)行成功封锉，案例詳細(xì)解讀請參考《Spark機(jī)器學(xué)習(xí)》一書第三章膘螟。
