wsl即適用于Windows的Linux子系統(tǒng)支持幾種常見的Linux系統(tǒng)梗掰,我主要用了ubuntu2004嵌言。 確實(shí)很方便,Windows下直接可以打開Linux環(huán)境及穗, 顯卡直...
wsl即適用于Windows的Linux子系統(tǒng)支持幾種常見的Linux系統(tǒng)梗掰,我主要用了ubuntu2004嵌言。 確實(shí)很方便,Windows下直接可以打開Linux環(huán)境及穗, 顯卡直...
1.Spark SQL中的一個(gè)空值處理 背景是Dataframe轉(zhuǎn)為表之后使用Spark SQL摧茴,并需要過濾一些數(shù)值型空值。Scala中的NaN值埂陆,一般可以看作是Float或...
0. 本文目的 主要輔助信號(hào)與系統(tǒng)課程的學(xué)習(xí)與講解苛白。 一些零碎的記錄,以后再酌情細(xì)化焚虱。 1. 利用sympy庫(kù) 基本方式是直接定義函數(shù)购裙,之后調(diào)用自帶的函數(shù)做處理、計(jì)算鹃栽、變換躏率,...
原計(jì)劃 ??25日要去貴陽(yáng)出差,本來猶豫要不要去,后來看到北京疫情基本平息(只是行程碼上北京還會(huì)有星號(hào))薇芝,最后還是決定去了蓬抄。計(jì)劃是25號(hào)去,26日晚上回京夯到〕ǎ看了看飛豬上的疫情...
2023.6 結(jié)論 WSL+ubuntu(或者純ubuntu)可以解決大部分問題黄娘,比如ubuntu20.04默認(rèn)的python3.8下可以支持: Tensorflow_fed...
剛剛逼争,做了一個(gè)詭異的夢(mèng)。我剛剛下班劝赔,總覺得忘了點(diǎn)什么誓焦,回到家中,母親說她在北京專用的電話卡被一個(gè)號(hào)打爆了(現(xiàn)實(shí)中母親目前沒有在北京着帽,也沒有一個(gè)北京專用的電話卡)杂伟,說我應(yīng)當(dāng)去一...
Spark遇到的一個(gè)內(nèi)存錯(cuò)誤 問題 項(xiàng)目中遇到的一個(gè)問題,其實(shí)不是spark的鍋仍翰,但錯(cuò)誤是它爆出來的赫粥,排錯(cuò)過程可以借鑒:錯(cuò)誤是這樣的: org.apache.spark.Sp...
1. 減少client模式下的日志輸出 2. 判斷字符串是否為整數(shù)或小數(shù) 和spark沒關(guān)系,是個(gè)scala語(yǔ)法問題予借。實(shí)際項(xiàng)目中涉及過濾數(shù)據(jù)質(zhì)量的問題越平,因此綜合網(wǎng)上看到的例子...
把項(xiàng)目中的注釋和筆記整理了一下(實(shí)際業(yè)務(wù)的變量名和列名肯定不是下面示例這樣的......) 1. Spark的壓縮 一般不用動(dòng)。默認(rèn)shuffle等階段都會(huì)用壓縮灵迫,看到有文章...
問題 項(xiàng)目中碰到一個(gè)新問題秦叛,需要利用Spark分析海量小文件,具體大概是這樣的: 海量的雙層壓縮包: 數(shù)量可能幾十萬(wàn)或更多瀑粥,文件大小從幾KB到幾MB不等挣跋,可能是zip+zip...