wsl即適用于Windows的Linux子系統(tǒng)支持幾種常見的Linux系統(tǒng),我主要用了ubuntu2004。 確實(shí)很方便绊起,Windows下直接可...
1.Spark SQL中的一個(gè)空值處理 背景是Dataframe轉(zhuǎn)為表之后使用Spark SQL希痴,并需要過濾一些數(shù)值型空值瓤湘。Scala中的NaN...
0. 本文目的 主要輔助信號(hào)與系統(tǒng)課程的學(xué)習(xí)與講解壹甥。 一些零碎的記錄佛寿,以后再酌情細(xì)化。 1. 利用sympy庫 基本方式是直接定義函數(shù)何暇,之后調(diào)用...
原計(jì)劃 ??25日要去貴陽出差陶夜,本來猶豫要不要去,后來看到北京疫情基本平息(只是行程碼上北京還會(huì)有星號(hào))裆站,最后還是決定去了条辟。計(jì)劃是25號(hào)去,26...
2023.6 結(jié)論 WSL+ubuntu(或者純ubuntu)可以解決大部分問題羽嫡,比如ubuntu20.04默認(rèn)的python3.8下可以支持:...
剛剛杭棵,做了一個(gè)詭異的夢(mèng)。我剛剛下班氛赐,總覺得忘了點(diǎn)什么魂爪,回到家中,母親說她在北京專用的電話卡被一個(gè)號(hào)打爆了(現(xiàn)實(shí)中母親目前沒有在北京艰管,也沒有一個(gè)北...
Spark遇到的一個(gè)內(nèi)存錯(cuò)誤 問題 項(xiàng)目中遇到的一個(gè)問題滓侍,其實(shí)不是spark的鍋,但錯(cuò)誤是它爆出來的牲芋,排錯(cuò)過程可以借鑒:錯(cuò)誤是這樣的: org....
1. 減少client模式下的日志輸出 2. 判斷字符串是否為整數(shù)或小數(shù) 和spark沒關(guān)系撩笆,是個(gè)scala語法問題。實(shí)際項(xiàng)目中涉及過濾數(shù)據(jù)質(zhì)量...
把項(xiàng)目中的注釋和筆記整理了一下(實(shí)際業(yè)務(wù)的變量名和列名肯定不是下面示例這樣的......) 1. Spark的壓縮 一般不用動(dòng)缸浦。默認(rèn)shuffl...