發(fā)簡(jiǎn)信
IP屬地：北京
-
mysql導(dǎo)入emoji數(shù)據(jù)亂碼
想要mysql表支持emoji，需要設(shè)置表編碼為utf8mb4 mysql的字符集的作用域有三個(gè)層級(jí)一個(gè)數(shù)據(jù)庫(kù)級(jí)，一個(gè)是表級(jí)，一個(gè)是列級(jí)（字段級(jí)...
-
yarn任務(wù)監(jiān)控頁(yè)面查看SQL內(nèi)容集群中有很多hive任務(wù)在執(zhí)行，某一個(gè)任務(wù)存在問(wèn)題時(shí)需要分析執(zhí)行的hive job提交了什么語(yǔ)句罚舱，是有辦法從hadoop job監(jiān)控頁(yè)面查看的 ...
-
房屋出租房子在高新區(qū)舜華南路，華皓漢峪小區(qū)2期，兩室一廳诫隅。距離漢峪金谷，齊魯軟件園近帐偎，小區(qū)里有幼兒園逐纬，旁邊是小學(xué)，附近有超市公交站削樊，生活設(shè)施全豁生。
-
hive分組取隨機(jī)數(shù)
hive取隨機(jī)的數(shù)據(jù)，可以使用rand()函數(shù)漫贞，用rand()對(duì)數(shù)據(jù)排序甸箱，取topN如果要用到分組取隨機(jī)數(shù)，比如每個(gè)班級(jí)隨機(jī)取10人迅脐，針對(duì)這種每...
-
動(dòng)態(tài)參數(shù)設(shè)定
elasticsearch.yml中盡量只寫(xiě)必備的參數(shù)摇肌，其他可以通過(guò)api動(dòng)態(tài)設(shè)置的參數(shù)都通過(guò)api來(lái)設(shè)定 動(dòng)態(tài)設(shè)定的參數(shù)有transient和...
-
常用文件處理方法
GBK格式內(nèi)容轉(zhuǎn)碼 獲取文件路徑或文件名 hadoop mr 中使用如下方式 spark 中 獲取文件名中的ip信息，并將文件轉(zhuǎn)碼
-
Hive不可見(jiàn)字符的處理
指定查詢結(jié)果的分隔符 將查詢結(jié)果放到hdfs目錄上仪际，默認(rèn)的分隔符為不可見(jiàn)字符\001围小，可以追加參數(shù)指定分隔符 Linux下對(duì)不可見(jiàn)字符的處理 使...
-
hive開(kāi)啟kerberos配置
啟動(dòng)hive ThirftServer和hive metastore的需要跟管理員申請(qǐng)keytab
-
es 基于磁盤(pán)的shard分配參數(shù)
低警戒水位線——默認(rèn)為磁盤(pán)容量的85％。 Elasticsearch不會(huì)將分片分配給使用磁盤(pán)超過(guò)85％的節(jié)點(diǎn)树碱。它也可以設(shè)置為絕對(duì)字節(jié)值（如500...