發(fā)簡信
IP屬地：海南
-
使用PySpark編寫SparkSQL程序查詢Hive數(shù)據(jù)倉庫作業(yè)腳本采用Python語言編寫县匠，Spark為Python開發(fā)者提供了一個API-----PySpark勉躺，利用PySpark可以很方便的連接Hi...
-
利用大數(shù)據(jù)技術(shù)分析新浪財經(jīng)美股行情學(xué)習(xí)大數(shù)據(jù)技術(shù)有一段時間了贱除，之前也寫過一些零零散散的博客塘揣，作為自己學(xué)習(xí)的一些記錄，不過每篇博客都只是涵蓋部分技術(shù)。這次想寫一篇比較完整的博客，記...
-
Spark SQL 分組后取 top n 問題的解決方法
背景介紹 遇到一個需求滴须，用 Spark SQL 查詢每個分組的前 top n 個數(shù)據(jù)舌狗。由于一開始不知道 Spark SQL 有 row_numb...
-
用 python 爬取微博評論并手動分詞制作詞云最近上海好像有舉行個什么維吾爾族的秘密時裝秀叽奥，很好看的樣子，不過我還沒時間看痛侍。但是微博上已經(jīng)吵翻了天朝氓，原因是 好吧，這不是我們關(guān)心的主届，我的心里只...
-
解決 hadoop 進(jìn)程 nodemanager 啟動后失效問題
在 yarn-site.xml 中添加 8031 是默認(rèn)端口赵哲，可以改為其他非占用端口，所有節(jié)點(diǎn)都需要照此修改君丁。 Nodemanager 為每個節(jié)...
-
利用hadoop分析微博評論對于大數(shù)據(jù)方向我還是個新手枫夺，本篇博客僅用于個人學(xué)習(xí)記錄，所以大家看看就好绘闷。 正常的Hadoop業(yè)務(wù)的開發(fā)流程應(yīng)該是這樣的 但是我偷了個懶橡庞，省去了...
-
50行Python代碼實(shí)現(xiàn)圖片轉(zhuǎn)字符畫本篇博客改編自實(shí)驗樓 通過本篇博客，你可以將你喜歡的任意圖片轉(zhuǎn)換成對應(yīng)的字符畫 最終效果 原理介紹 字符畫是一系列字符組合成的文本印蔗，看起來就像一...
-
利用Scrapy爬取豆瓣圖書并保存至Mysql數(shù)據(jù)庫Scrapy是一個純Python語言寫的爬蟲框架扒最，本次用它來爬取豆瓣圖書的數(shù)據(jù)。 準(zhǔn)備工作 沒有安裝Scrapy的同學(xué)需要安裝一下华嘹，有兩種方式安...
-
ECharts中國地圖可視化代碼 - javascript代碼模板
需要用到的 js 文件：china.js , echarts.min.js , jquery-*.min.js