1.從spark history UI定界 在作業(yè)主頁(yè)確定有問(wèn)題的子作業(yè)Job，然后進(jìn)入該子作業(yè)詳情查看stage绞绒，確定有問(wèn)題的stage婶希。超長(zhǎng)stage的task如下圖所示...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
【Spark 精選】Native 計(jì)算引擎（C++）作業(yè)線程卡住問(wèn)題 -
【C++精選】lldb 調(diào)試指南
1.查看coredump coredump的保存地址 查看coredump文件的內(nèi)容 2.斷點(diǎn)調(diào)試 2.1 編譯選項(xiàng)添加調(diào)試信息 編譯程序時(shí)需要添加調(diào)試信息，可以使用 -g ...
-
【git】如何進(jìn)行 git 的 cherry-pick 操作
1.添加遠(yuǎn)程主倉(cāng)并更新內(nèi)容 添加遠(yuǎn)程主倉(cāng) 更新遠(yuǎn)程倉(cāng)庫(kù)的最新內(nèi)容 2.cherry-pick操作
-
【C++ 精選】調(diào)試工具 - 查看內(nèi)存對(duì)應(yīng)的函數(shù)蓬衡、文件名等信息
1.Addr2line 簡(jiǎn)介和安裝 Addr2line 是一個(gè)用于將程序計(jì)數(shù)器（PC）地址轉(zhuǎn)換為源代碼文件名和行號(hào)的工具喻杈。它通常用于調(diào)試程序時(shí)查找特定地址對(duì)應(yīng)的源代碼位置。A...
-
【C++ 精選】調(diào)試工具 - 查看符號(hào)
1 nm 命令查看符號(hào) 2 c++filt 命令還原符號(hào) **【參考】GCC詳解-Binutils工具之c++filt[https://blog.csdn.net/sjwan...
-
【Linux】?jī)?nèi)核 3.10 離線升級(jí)到 5.4
1.檢查當(dāng)前內(nèi)核版本 2.下載并安裝目標(biāo)版本 5.4 的內(nèi)核文件 linux-5.4下載地址[https://elrepo.org/linux/kernel/el7/x86_...
-
【Linux】如何查看CPU狰晚、內(nèi)存和磁盤及其性能測(cè)試
1.CPU 信息 lscpu 命令可以查看 CPU 的詳細(xì)信息 cat /proc/cpuinfo 命令可以查看 CPU 的更多信息 2.內(nèi)存信息 dmidecode 命令查...
-
【Spark 精選】EliminateOuterJoin 優(yōu)化規(guī)則詳解1.EliminateOuterJoin 優(yōu)化規(guī)則的應(yīng)用場(chǎng)景 問(wèn)題：為啥需要消除外鏈接即 out join解答：消除 out join 可以提高執(zhí)行效率筒饰。因?yàn)?inner j...
-
【Spark 精選】源碼閱讀 — Scala 高級(jí)語(yǔ)法
1.case 模式匹配 case 模式匹配的使用樣例： spark-sql 源碼中的 case 模式匹配：Analyzer 的 ResolveRelations 2.case...
-
【Hadoop 精選】HDFS Client 使用和源碼解析1.HDFS 整體框架圖 2.HDFS Client 讀寫的 Java 示例 3.HDFS Client 源碼分析 3.1 Client 初始化 FileSystem 的關(guān)鍵...
-
【Hive 精選】Hive 架構(gòu)詳解2.Hive 架構(gòu) 2.1 架構(gòu)總覽 UI 即 CLI/JDBC：用戶可以通過(guò)該界面提交 SQL 語(yǔ)句 Driver：從 UI 接收 SQL 語(yǔ)句的組件，接著將 SQL 提交...
-
【安全】Kerberos 認(rèn)證原理及 Hadoop 安全機(jī)制1.Kerberos 認(rèn)證原理 Kerberos是一種基于票據(jù)的壁晒、集中式的網(wǎng)絡(luò)認(rèn)證協(xié)議瓷们，適用于C/S模型，最初由麻省理工學(xué)院(Massachusetts Institute ...
-
【安全】Hadoop 安全集群搭建及其對(duì)接
0.環(huán)境信息 軟件名稱版本OSopenEuler 22.03 (LTS-SP1)BiSheng JDKOpenJDK 64-Bit Server VM BiSheng (bu...
-
【TPC-DS】深入分析 hive-testbench
1.hive-testbench 簡(jiǎn)介 hive-testbench[https://github.com/hortonworks/hive-testbench/] 是一個(gè)用...
-
【Spark 精選】SQL 執(zhí)行計(jì)劃詳解1.Spark SQL 執(zhí)行流程 Parser 階段：使用 Antlr4 對(duì) sql 語(yǔ)句進(jìn)行詞法和語(yǔ)法的解析 Analyzer 階段：利用 Catalog 信息將 Unre...
-
【SQL】JOIN 詳解1 LEFT秒咐、INNER 和 RIGHT JOIN 原理 LEFT JOIN：以左表為主表谬晕，返回所有左表的數(shù)據(jù) INNER JOIN：返回兩張表的交集部分 RIGHT JOI...
-
【Hadoop】Hadoop 體系及核心組件簡(jiǎn)介1.Hadoop 體系 1.1 Google 大數(shù)據(jù)三大理論 1.1.1 Google FS GFS 是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，把原文件分割成很多塊的小文件携取，以冗余的方式...
-
【C++ 精選】C++ Primer（第五版）第二章練習(xí)題
練習(xí) 2.1 問(wèn)題：類型 int攒钳、long、long long 和 short 的區(qū)別是什么歹茶？無(wú)符號(hào)類型和帶符號(hào)類型的區(qū)別是什么夕玩？float 和 double的區(qū)別是什么你弦？答...
-
【軟硬件協(xié)同】DPU 簡(jiǎn)介1.什么是 DPU DPU 的英文全稱叫做 Data Processing Unit 即數(shù)據(jù)處理器，屬于高性能可編程的多核處理器燎孟。DPU 是 SoC（System on Ch...
-
【Linux】?jī)?nèi)核簡(jiǎn)介1.Linux 的體系結(jié)構(gòu) User Space 是用戶空間即應(yīng)用程序執(zhí)行的地方禽作。Kernel Space 是內(nèi)核空間，分為 3 層：① 最上層實(shí)系統(tǒng)調(diào)用接口揩页，即內(nèi)核向用戶提...
個(gè)人介紹