240 發(fā)簡(jiǎn)信
IP屬地：河南

  • 建maven工程猎物，把hive的jar引入到依賴?yán)锘⑶簦缓髮?xiě)對(duì)外的方法接受sql，把sql發(fā)給Driver類(lèi)蔫磨，拿到語(yǔ)法樹(shù)的根節(jié)點(diǎn)ASTNode淘讥，然后寫(xiě)代碼遍歷ASTNode，根據(jù)不同的特征解析不同的屬性出來(lái)质帅。

    使用Hive內(nèi)置的解析器構(gòu)建血緣關(guān)系

    背景 最近在做數(shù)據(jù)血緣關(guān)系相關(guān)的工作适揉，最初級(jí)的版本我們是通過(guò)執(zhí)行計(jì)劃分析出表到表的計(jì)算關(guān)系。有同事在看了之后提出煤惩，希望能給一個(gè)字段到字段的計(jì)算關(guān)系出來(lái)嫉嘀，所以我們做了一些嘗試，...

  • 120
    30張圖帶你徹底理解紅黑樹(shù)

    寫(xiě)在前面 當(dāng)在10億數(shù)據(jù)進(jìn)行不到30次比較就能查找到目標(biāo)時(shí)魄揉，不禁感嘆編程之魅力剪侮！人類(lèi)之偉大呀！ —— 學(xué)紅黑樹(shù)有感洛退。 終于瓣俯，在學(xué)習(xí)了幾天的紅黑樹(shù)相關(guān)的知識(shí)后，我想把我所學(xué)所想...

  • 120
    B樹(shù)

    引子 上一篇文章結(jié)束的時(shí)候兵怯，我親手立下了flag彩匕，要手寫(xiě)2-3樹(shù)。經(jīng)過(guò)臥薪嘗膽半個(gè)月后媒区，終于放棄了驼仪。因?yàn)?-3樹(shù)只是B樹(shù)的某個(gè)狀態(tài)，寫(xiě)了半天就寫(xiě)某個(gè)類(lèi)的一個(gè)狀態(tài)貌似很沒(méi)有什么...

  • 120
    AVL樹(shù)

    介紹 AVL樹(shù)是最常見(jiàn)的自平衡二叉搜索樹(shù)了。關(guān)于二叉搜索樹(shù)大致的描述如下： 每個(gè)節(jié)點(diǎn)只有左右兩個(gè)子節(jié)點(diǎn) 每個(gè)節(jié)點(diǎn)的左子節(jié)點(diǎn)的值小于該節(jié)點(diǎn)值宙攻，每個(gè)節(jié)點(diǎn)的右子節(jié)點(diǎn)的值大于該節(jié)點(diǎn)的...

  • 120
    春筍啊五花肉啊

    春筍奠货？ 最近被公眾號(hào)各種安利春筍，五花肉春筍座掘，油燜春筍balabala递惋，作為北方人柔滔，吃過(guò)筍，但是春筍是個(gè)啥丹墨？ 市場(chǎng)溜達(dá)圈廊遍，買(mǎi)了幾根回來(lái)，造起來(lái)贩挣，揮發(fā)碼農(nóng)創(chuàng)新，勇于嘗試精神没酣！ ...

  • 120
    春筍啊五花肉啊

    春筍王财？ 最近被公眾號(hào)各種安利春筍，五花肉春筍裕便，油燜春筍balabala绒净，作為北方人，吃過(guò)筍偿衰，但是春筍是個(gè)啥挂疆？ 市場(chǎng)溜達(dá)圈，買(mǎi)了幾根回來(lái)下翎，造起來(lái)缤言，揮發(fā)碼農(nóng)創(chuàng)新，勇于嘗試精神视事！ ...

  • 120
    使用Hive內(nèi)置的解析器構(gòu)建血緣關(guān)系

    背景 最近在做數(shù)據(jù)血緣關(guān)系相關(guān)的工作虏辫，最初級(jí)的版本我們是通過(guò)執(zhí)行計(jì)劃分析出表到表的計(jì)算關(guān)系蚌吸。有同事在看了之后提出，希望能給一個(gè)字段到字段的計(jì)算關(guān)系出來(lái)砌庄，所以我們做了一些嘗試羹唠，...

  • 120
    HiveServer2無(wú)響應(yīng)分析

    場(chǎng)景描述 我們?cè)诠ぷ髦杏袝r(shí)候需要使用JDBC操作Hive，但最近經(jīng)常出現(xiàn)每隔一段時(shí)間JDBC就超時(shí)沒(méi)反應(yīng)的情況鹤耍。（這個(gè)問(wèn)題和MetaStore內(nèi)存溢出時(shí)的表現(xiàn)一模一樣肉迫，關(guān)于M...

  • 對(duì)ddl語(yǔ)句锣枝，如何做到倉(cāng)庫(kù)與業(yè)務(wù)庫(kù)的同步呢？

    MySQL數(shù)據(jù)實(shí)時(shí)同步實(shí)踐

    來(lái)自公眾號(hào)：小米云技術(shù) 背景 MySQL由于自身簡(jiǎn)單定罢、高效、可靠的特點(diǎn)壳贪，成為小米內(nèi)部使用最廣泛的數(shù)據(jù)庫(kù)，但是當(dāng)數(shù)據(jù)量達(dá)到千萬(wàn)/億級(jí)別的時(shí)候寝杖，MySQL的相關(guān)操作會(huì)變的非常遲緩...

  • 120
    理解Spark中Job-Stage-Task之間的關(guān)系

    Spark-Job-Stage-Task之間的關(guān)系 基本概念 在開(kāi)始之前需要先了解Spark中Application违施，Job，Stage等基本概念瑟幕，官方給出的解釋如下表： J...

  • Spark--Spark Shuffle細(xì)節(jié)掌握(面試類(lèi))問(wèn)題

    Spark Shuffle Read階段是如何讀取數(shù)據(jù)的 Reduce去拉取Map的輸出數(shù)據(jù)只盹，Spark提供了兩套不同的拉取數(shù)據(jù)框架：通過(guò)socket連接去取數(shù)據(jù)辣往；使用net...

  • 工作文件不該全部歸檔嗎？怎么會(huì)只有員工的電腦上有殖卑？我司離職電腦會(huì)由專(zhuān)門(mén)的安全人員做清空……

    活久見(jiàn)Ｕ鞠鳌！孵稽！ 一員工離職卸載掉電腦的全部軟件许起，就連桌面文件也一掃而空

    之前在網(wǎng)上看到一句話這樣來(lái)形容靠譜的人:“凡事有交代，件件有著落菩鲜，句句有回應(yīng)”园细。 個(gè)人十分認(rèn)同，這個(gè)解釋尤其用在職場(chǎng)睦袖，判定一個(gè)員工有沒(méi)有責(zé)任心最合適不過(guò)珊肃。 工作了四年的我，經(jīng)...

  • 我們分析團(tuán)隊(duì)關(guān)注每條數(shù)據(jù)的每次變化馅笙，現(xiàn)在封裝了canal來(lái)收binlog后端用kafka將離線數(shù)據(jù)與實(shí)時(shí)計(jì)算解耦伦乔，這個(gè)場(chǎng)景用datax要如何實(shí)現(xiàn)呢？

    DataX 3.0簡(jiǎn)介 安裝及使用

    DataX3.0離線同步工具介紹 一. DataX3.0概覽 ?DataX 是一個(gè)異構(gòu)數(shù)據(jù)源離線同步工具董习，致力于實(shí)現(xiàn)包括關(guān)系型數(shù)據(jù)庫(kù)(MySQL烈和、Oracle等)、HDFS皿淋、...

  • 120
    Kafka+Spark Streaming如何保證exactly once語(yǔ)義

    在Kafka疯暑、Storm、Flink哑舒、Spark Streaming等分布式流處理系統(tǒng)中（沒(méi)錯(cuò)妇拯，Kafka本質(zhì)上是流處理系統(tǒng)，不是單純的“消息隊(duì)列”），存在三種消息傳遞語(yǔ)義（...

個(gè)人介紹
KDA2越锈，KOF97全國(guó)三線仗嗦，OLLIE一直做不好選手
亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品