發(fā)簡信
IP屬地：北京
-
-
嗶哩嗶哩：李文舉說
-
終身學(xué)習(xí)者缴淋、大學(xué)教師旱函。稍微懂一點(diǎn)兒寫作响巢、演講、Python和機(jī)器學(xué)習(xí)棒妨。歡迎微信關(guān)注并置頂我的公眾號“玉樹芝蘭”(nkwangshuyi)踪古。我已委托“維權(quán)騎士”（rightknights.com）為我的文章進(jìn)行維權(quán)行動(dòng)。
-
貌似2.0以后的版本都不需要partitionBy 了券腔，hive建表的時(shí)候指定分區(qū)就可以伏穆，可以試試直接插入或用saveAsTable
Spark 寫入數(shù)據(jù)到Hive分區(qū)表
0.登錄hive數(shù)據(jù)庫，這里采用beeline 1.創(chuàng)建數(shù)據(jù)庫 有兩種方式纷纫，可以在hive客戶端或beeline連接hive創(chuàng)建枕扫，也可以在spark中創(chuàng)建，以hive she...
-
Spark 基礎(chǔ)概念釋義
1.RDD：彈性分布式數(shù)據(jù)集辱魁，彈性體現(xiàn)在可以在磁盤和內(nèi)存間自由切換烟瞧；基于lineage(血統(tǒng))的容錯(cuò)；task失敗特定次數(shù)重試染簇；stage失敗重試燕刻；數(shù)據(jù)分片的高度彈性（rep...
-
永不止步 Keep Moving
-
學(xué)習(xí)筆記總結(jié)<br><br>github:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fxy2953396112" target="_blank">https://github.com/xy2953396112</a><br><br><br><br><br>
-
行到水窮處，坐看云起時(shí)<br>座右銘：Do not wait , just do it!
-
如何保證消息隊(duì)列的高可用和冪等性以及數(shù)據(jù)丟失聚至，順序一致性（1）RabbitMQ的高可用性 RabbitMQ是比較有代表性的酷勺，因?yàn)槭腔谥鲝淖龈呖捎眯缘模覀兙鸵运麨槔又v解第一種MQ的高可用性怎么實(shí)現(xiàn)扳躬。 rabbitmq有三種模式...
-
專注于大數(shù)據(jù)平臺化、數(shù)據(jù)可觀測性和數(shù)據(jù)可視化
-
Mongo击胜、Redis亏狰、Memcached對比及知識總結(jié)存儲原理（持久化） MongoMongo的數(shù)據(jù)將會保存在底層文件系統(tǒng)，因此存儲容量遠(yuǎn)大于redis和memcached偶摔。一個(gè)database中所有的collections以及...
-
新博客地址： <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fallwefantasy" target="_blank">https://www.zhihu.com/people/allwefantasy</a>
-
-
什么都要會一點(diǎn)够挂，這樣裝起逼來才不會尷尬。
-
Nignx 配置反向代理
解決問題：使用nignx完成http轉(zhuǎn)https和二級域名轉(zhuǎn)發(fā)藕夫，將已有http通信的web前端轉(zhuǎn)為https,包括主域和一個(gè)二級域名下硕，這兩個(gè)domain解析到同一ip。Ngi...
-
Ubuntu 更新python2.7版本至最新
系統(tǒng)自帶的python2版本為python2.7.6汁胆，版本太低梭姓，需要更新至2.7最新，直接下載2.7.15更新后有各種問題嫩码，在此記錄下整個(gè)過程誉尖。最后使用python源碼安裝，...
-
Spark 寫入數(shù)據(jù)到Hive分區(qū)表
0.登錄hive數(shù)據(jù)庫铸题，這里采用beeline 1.創(chuàng)建數(shù)據(jù)庫 有兩種方式铡恕，可以在hive客戶端或beeline連接hive創(chuàng)建，也可以在spark中創(chuàng)建丢间，以hive she...
-
數(shù)據(jù)開發(fā)烘挫、數(shù)據(jù)分析诀艰、數(shù)據(jù)挖掘、算法研究饮六、數(shù)據(jù)產(chǎn)品其垄！
