240 發(fā)簡信
IP屬地：北京
  • mysql導(dǎo)入emoji數(shù)據(jù)亂碼

    想要mysql表支持emoji秩冈，需要設(shè)置表編碼為utf8mb4 mysql的字符集的作用域有三個(gè)層級(jí)一個(gè)數(shù)據(jù)庫級(jí)检诗，一個(gè)是表級(jí)，一個(gè)是列級(jí)（字段級(jí)別的）在辆。優(yōu)先級(jí)是：列級(jí)>表級(jí)>...

  • 120
    yarn任務(wù)監(jiān)控頁面查看SQL內(nèi)容

    集群中有很多hive任務(wù)在執(zhí)行册踩，某一個(gè)任務(wù)存在問題時(shí)需要分析執(zhí)行的hive job提交了什么語句泳姐，是有辦法從hadoop job監(jiān)控頁面查看的 1、點(diǎn)開一個(gè)applicati...

  • 120
    房屋出租

    房子在高新區(qū)舜華南路暂吉，華皓漢峪小區(qū)2期胖秒，兩室一廳。距離漢峪金谷慕的，齊魯軟件園近阎肝，小區(qū)里有幼兒園，旁邊是小學(xué)肮街，附近有超市公交站风题，生活設(shè)施全。

  • hive分組取隨機(jī)數(shù)

    hive取隨機(jī)的數(shù)據(jù)，可以使用rand()函數(shù)沛硅，用rand()對(duì)數(shù)據(jù)排序眼刃，取topN如果要用到分組取隨機(jī)數(shù)，比如每個(gè)班級(jí)隨機(jī)取10人摇肌，針對(duì)這種每個(gè)分組取topN的情況擂红，可以使...

  • 動(dòng)態(tài)參數(shù)設(shè)定

    elasticsearch.yml中盡量只寫必備的參數(shù)疹娶，其他可以通過api動(dòng)態(tài)設(shè)置的參數(shù)都通過api來設(shè)定 動(dòng)態(tài)設(shè)定的參數(shù)有transient和persistent兩種設(shè)置，...

  • 常用文件處理方法

    GBK格式內(nèi)容轉(zhuǎn)碼 獲取文件路徑或文件名 hadoop mr 中使用如下方式 spark 中 獲取文件名中的ip信息伦连，并將文件轉(zhuǎn)碼

  • Hive不可見字符的處理

    指定查詢結(jié)果的分隔符 將查詢結(jié)果放到hdfs目錄上雨饺，默認(rèn)的分隔符為不可見字符\001，可以追加參數(shù)指定分隔符 Linux下對(duì)不可見字符的處理 使用vi 使用sed ^A在終端...

  • hive開啟kerberos配置

    啟動(dòng)hive ThirftServer和hive metastore的需要跟管理員申請(qǐng)keytab

  • es 基于磁盤的shard分配參數(shù)

    低警戒水位線——默認(rèn)為磁盤容量的85％惑淳。 Elasticsearch不會(huì)將分片分配給使用磁盤超過85％的節(jié)點(diǎn)额港。它也可以設(shè)置為絕對(duì)字節(jié)值（如500mb），以防止Elastics...

  • coalesce()方法和repartition()方法的區(qū)別

    coalesce()方法和repartition()方法的區(qū)別 Spark的RDD是分區(qū)的歧焦，經(jīng)過lineage一系列運(yùn)算之后移斩，比如原始日志1T，filter算子過濾出1G的內(nèi)...

  • 日期處理

    日志中出現(xiàn)的時(shí)間格式如下：[24/Jun/2019:21:00:03 +0800]之前使用的字符串匹配的方式绢馍，得到年月日時(shí)分秒向瓷，轉(zhuǎn)化成習(xí)慣的時(shí)間格式，有點(diǎn)low java語言...

  • hive 數(shù)據(jù)傾斜優(yōu)化

    在一個(gè)大表關(guān)聯(lián)小表中遇到數(shù)據(jù)傾斜的問題舰涌，優(yōu)化方法如下 mapjoin 類似寫MR時(shí)猖任，將小數(shù)據(jù)直接放入map緩存，通過mapjoin可以加快執(zhí)行速度瓷耙，hive2默認(rèn)開啟此功能朱躺，...

  • search guard配置

    權(quán)限配置 sgadmin用法(with PEM certificates) 說明： -icl --ignore-clustername -nhnv --disable-hos...

  • search guard安裝

    安裝Search Guard 和其他的elastic插件安裝方式相同，使用elasticsearch-plugin安裝search guard 在線安裝 需要將<versio...

  • hive 中實(shí)現(xiàn)對(duì)json格式數(shù)據(jù)的解析

    1. json對(duì)象 hive 中有json解析的工具get_json_object 和json_tupple,這里不多做解釋,直接傳入json類型的參數(shù)調(diào)用即可 比如以下數(shù)據(jù)...

  • 窗口函數(shù)示例2-lag：

    有關(guān)開窗函數(shù)的基本語法參照 參考地址 1.LAG & LEAD LAG(col,n,DEFAULT) 用于統(tǒng)計(jì)窗口內(nèi)往上第n行值LEAD(col,n,DEFAULT) 用于統(tǒng)...

  • 窗口函數(shù)示例1-count：

    有關(guān)開窗函數(shù)的基本語法參照 參考地址 1.COUNT 包括類似的SUM搁痛、AVG长搀、MIN、MAX鸡典，都是用于實(shí)現(xiàn)分組內(nèi)的統(tǒng)計(jì) 需求案例：一個(gè)目的地源请，用戶可能通過三種路徑到達(dá)，一天...

  • ES cluster安裝

    1.jdk安裝 2.es安裝 1.官網(wǎng)獲取下載鏈接，https://www.elastic.co/downloads/elasticsearch2.解壓縮3.修改es.yml...

亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品