wsl即適用于Windows的Linux子系統(tǒng)支持幾種常見的Linux系統(tǒng)本姥,我主要用了ubuntu2004杭棵。 確實很方便婚惫,Windows下直接可...
1.Spark SQL中的一個空值處理 背景是Dataframe轉(zhuǎn)為表之后使用Spark SQL,并需要過濾一些數(shù)值型空值滓侍。Scala中的NaN...
0. 本文目的 主要輔助信號與系統(tǒng)課程的學習與講解氮兵。 一些零碎的記錄歹鱼,以后再酌情細化泣栈。 1. 利用sympy庫 基本方式是直接定義函數(shù)醉冤,之后調(diào)用...
原計劃 ??25日要去貴陽出差蚁阳,本來猶豫要不要去,后來看到北京疫情基本平息(只是行程碼上北京還會有星號)螺捐,最后還是決定去了矮燎。計劃是25號去定血,26...
2023.6 結(jié)論 WSL+ubuntu(或者純ubuntu)可以解決大部分問題,比如ubuntu20.04默認的python3.8下可以支持:...
剛剛,做了一個詭異的夢濒析。我剛剛下班,總覺得忘了點什么号杏,回到家中婴氮,母親說她在北京專用的電話卡被一個號打爆了(現(xiàn)實中母親目前沒有在北京,也沒有一個北...
Spark遇到的一個內(nèi)存錯誤 問題 項目中遇到的一個問題盾致,其實不是spark的鍋主经,但錯誤是它爆出來的,排錯過程可以借鑒:錯誤是這樣的: org....
1. 減少client模式下的日志輸出 2. 判斷字符串是否為整數(shù)或小數(shù) 和spark沒關(guān)系绰上,是個scala語法問題旨怠。實際項目中涉及過濾數(shù)據(jù)質(zhì)量...
把項目中的注釋和筆記整理了一下(實際業(yè)務(wù)的變量名和列名肯定不是下面示例這樣的......) 1. Spark的壓縮 一般不用動。默認shuffl...