TiDB 基礎(chǔ)使用

Database of Databases - TiDB

TiDB dashboard使用

TiDB Dashboard 是 TiDB 自 4.0 版本起提供的圖形化界面周蹭，可用于監(jiān)控及診斷 TiDB 集群趋艘。TiDB Dashboard 內(nèi)置于 TiDB 的 PD 組件中疲恢，無需獨立部署。

image-20210309181206197

集群概況

查看集群整體 QPS 數(shù)值瓷胧、執(zhí)行耗時显拳、消耗資源最多的幾類 SQL 語句等概況信息。

該頁面顯示了整個集群的概況搓萧，包含以下信息：

• 整個集群的 QPS
• 整個集群的查詢延遲
• 最近一段時間內(nèi)累計耗時最多的若干 SQL 語句
• 最近一段時間內(nèi)運行時間超過一定閾值的慢查詢
• 各個實例的節(jié)點數(shù)和狀態(tài)
• 監(jiān)控及告警信息

QPS

該區(qū)域顯示最近一小時整個集群的每秒成功和失敗查詢數(shù)量

image-20210310134900484

注意：該功能僅在部署了 Prometheus 監(jiān)控組件的集群上可用杂数，未部署監(jiān)控組件的情況下會顯示為失敗。

延遲

該區(qū)域顯示最近一小時整個集群中 99.9%矛绘、99% 和 90% 查詢的延遲：

image-20210310134921004

注意：該功能僅在部署了 Prometheus 監(jiān)控組件的集群上可用耍休，未部署監(jiān)控組件的情況下會顯示為失敗。

Top SQL 語句

該區(qū)域顯示最近一段時間內(nèi)整個群集中累計耗時最長的 10 類 SQL 語句货矮。查詢參數(shù)不一樣但結(jié)構(gòu)一樣的 SQL 會歸為同一類 SQL 語句羊精，在同一行中顯示

image-20210310135140342

注意：該功能僅在開啟了 SQL 語句分析功能的集群上可用。

最近的慢查詢

該區(qū)域默認顯示最近 30 分鐘內(nèi)整個集群中最新的 10 條慢查詢

image-20210310135240284

默認情況下運行時間超過 300ms 的SQL 查詢即會被計為慢查詢并顯示在該表格中囚玫。

集群信息

該頁面上允許用戶查看整個集群中 TiDB喧锦、TiKV、PD抓督、TiFlash 組件的運行狀態(tài)及其所在主機的運行狀態(tài)燃少。

實例列表

實例列表列出了該集群中 TiDB、TiKV铃在、PD 和 TiFlash 組件所有實例的概況信息阵具。

image-20210310135617023

表格列解釋

表格包含以下列：

• 地址：實例地址
• 狀態(tài)：實例的運行狀態(tài)
• 啟動時間：實例的啟動時間
• 版本：實例版本號
• 部署路徑：實例二進制文件所在目錄路徑
• Git 哈希值：實例二進制對應(yīng)的 Git 哈希值

實例狀態(tài)解釋

實例的運行狀態(tài)有：

• 在線 (Up)：實例正常運行。
• 離線 (Down) 或無法訪問 (Unreachable)：實例未啟動或?qū)?yīng)主機存在網(wǎng)絡(luò)問題定铜。
• 已縮容下線 (Tombstone)：實例上的數(shù)據(jù)已被完整遷出并縮容完畢阳液。僅 TiKV 或 TiFlash 實例存在該狀態(tài)。
• 下線中 (Offline)：實例上的數(shù)據(jù)正在被遷出并縮容揣炕。僅 TiKV 或 TiFlash 實例存在該狀態(tài)帘皿。
• 未知 (Unknown)：未知的實例運行狀態(tài)。

主機列表

主機列表列出了該集群中 TiDB畸陡、TiKV鹰溜、PD 和 TiFlash 組件所有實例對應(yīng)主機的運行情況。

image-20210310135820510

表格列解釋

表格包含以下列：

• 地址：主機 IP 地址
• CPU：主機 CPU 邏輯核心數(shù)
• CPU 使用率：主機當前 1 秒的用戶態(tài)和內(nèi)核態(tài) CPU 使用率
• 物理內(nèi)存：主機總計的物理內(nèi)存大小
• 內(nèi)存使用率：主機當前內(nèi)存使用率
• 部署磁盤：主機上運行實例所在磁盤的文件系統(tǒng)和磁盤掛載路徑
• 磁盤使用率：主機上運行實例所在磁盤的空間使用率

SQL語句分析

該頁面可以查看所有 SQL 語句在集群上執(zhí)行情況丁恭，常用于分析總耗時或單次耗時執(zhí)行耗時較長的 SQL 語句曹动。

執(zhí)行列表頁

在該頁面中，結(jié)構(gòu)一致的 SQL 查詢（即使查詢參數(shù)不一致）都會被歸為同一個 SQL 語句涩惑，例如 SELECT * FROM employee WHERE id IN (1, 2, 3) 和 select * from EMPLOYEE where ID in (4, 5) 都屬于同一 SQL 語句 select * from employee where id in (...)仁期。

image-20210310140600074

執(zhí)行詳情頁面

在列表中點擊任意一行可以進入該 SQL 語句的詳情頁查看更詳細的信息，這此信息包括三大部分：

• SQL 語句概況：包括 SQL 模板，SQL 模板 ID跛蛋，當前查看的時間范圍熬的，執(zhí)行計劃個數(shù)以及執(zhí)行所在的數(shù)據(jù)庫（下圖區(qū)域 1）
• 執(zhí)行計劃列表：如果該 SQL 語句有多個執(zhí)行計劃，則顯示該列表赊级，可以選擇不同的執(zhí)行計劃押框，在列表下方會顯示選中的執(zhí)行計劃詳情；如果只有一個執(zhí)行計劃理逊，則該列表不顯示（下圖區(qū)域 2）
• 執(zhí)行計劃詳情：顯示選中的執(zhí)行計劃的詳細信息橡伞，具體見下一小節(jié)（下圖區(qū)域 3）

image-20210310140919328

慢查詢

該頁面上能檢索和查看集群中所有慢查詢。

默認情況下晋被，執(zhí)行時間超過 300ms 的 SQL 查詢就會被視為慢查詢兑徘，被記錄到慢查詢?nèi)罩?/a>中，并可通過本功能對記錄到的慢查詢進行查詢羡洛」夷裕可調(diào)整 tidb_slow_log_threshold SESSION 變量或 TiDB slow-threshold 參數(shù)調(diào)整慢查詢閾值。

若關(guān)閉了慢查詢?nèi)罩居辏瑒t本功能不可用崭闲。慢查詢?nèi)罩灸J開啟，可通過修改 TiDB 配置 enable-slow-log 開啟或禁用威蕉。

慢查詢列表頁

可按時間范圍刁俭、慢查詢語句關(guān)聯(lián)的數(shù)據(jù)庫、SQL 關(guān)鍵字韧涨、SQL 類型牍戚、顯示的慢查詢語句數(shù)量等條件過濾，篩選慢查詢句虑粥。如下所示翘魄，默認顯示 30 分鐘內(nèi)最近 100 條慢查詢。

image-20210310141242904

查看執(zhí)行詳情

在列表中點擊任意一行可以顯示該慢查詢的詳細執(zhí)行信息舀奶，包含：

• SQL：慢查詢 SQL 文本（
• 執(zhí)行計劃：慢查詢的執(zhí)行計劃
• 其他分類好的 SQL 執(zhí)行信息

image-20210310141345490

點擊展開 (Expand) 鏈接可以展開相應(yīng)項的完整內(nèi)容，點擊復制 (Copy) 鏈接可以復制完整內(nèi)容到剪貼板斋射。

集群診斷頁面

集群診斷是在指定的時間范圍內(nèi)育勺，對集群可能存在的問題進行診斷，并將診斷結(jié)果和一些集群相關(guān)的負載監(jiān)控信息匯總成一個診斷報告罗岖。診斷報告是網(wǎng)頁形式涧至，通過瀏覽器保存后可離線瀏覽和傳閱。

生成診斷報告

如果想對一個時間范圍內(nèi)的集群進行診斷桑包，查看集群的負載等情況南蓬，可以使用以下步驟來生成一段時間范圍的診斷報告：

1. 設(shè)置區(qū)間的開始時間
2. 設(shè)置區(qū)間長度，例如 10 min 。
3. 點擊開始赘方。

建議生成報告的時間范圍在 1 min ~ 60 min 內(nèi)烧颖，目前不建議生成超過 1 小時范圍的報告。

image-20210310141645985

點擊開始 (start) 后窄陡，會看到以下界面炕淮，生成進度 (progress) 是生成報告的進度條，生成報告完成后跳夭，點擊查看報告 (View Full Report) 即可涂圆。

image-20210310141816552

TIDB集群部署

環(huán)境要求

操作系統(tǒng)建議配置

TiDB 作為一款開源分布式 NewSQL 數(shù)據(jù)庫，可以很好的部署和運行在 Intel 架構(gòu)服務(wù)器環(huán)境币叹、ARM 架構(gòu)的服務(wù)器環(huán)境及主流虛擬化環(huán)境润歉，并支持絕大多數(shù)的主流硬件網(wǎng)絡(luò)。作為一款高性能數(shù)據(jù)庫系統(tǒng)颈抚，TiDB 支持主流的 Linux 操作系統(tǒng)環(huán)境踩衩。

服務(wù)器建議配置

TiDB 支持部署和運行在 Intel x86-64 架構(gòu)的 64 位通用硬件服務(wù)器平臺或者 ARM 架構(gòu)的硬件服務(wù)器平臺。對于開發(fā)邪意，測試九妈，及生產(chǎn)環(huán)境的服務(wù)器硬件配置（不包含操作系統(tǒng) OS 本身的占用）有以下要求和建議：

開發(fā)及測試環(huán)境

生產(chǎn)環(huán)境

環(huán)境準備

準備一臺部署主機，確保其軟件滿足需求：

• 推薦安裝 CentOS 7.3 及以上版本
• Linux 操作系統(tǒng)開放外網(wǎng)訪問雾鬼，用于下載 TiDB 及相關(guān)軟件安裝包

最小規(guī)模的 TiDB 集群拓撲

安裝TiUP

什么是TiUP

從 TiDB 4.0 版本開始萌朱，TiUP 作為新的工具，承擔著包管理器的角色策菜，管理著 TiDB 生態(tài)下眾多的組件晶疼，如 TiDB、PD又憨、TiKV 等翠霍。用戶想要運行 TiDB 生態(tài)中任何組件時，只需要執(zhí)行 TiUP 一行命令即可蠢莺，相比以前寒匙，極大地降低了管理難度。

安裝TiUP組件

使用普通用戶登錄中控機躏将，以 tidb 用戶為例锄弱，后續(xù)安裝 TiUP 及集群管理操作均通過該用戶完成

TiUP 安裝過程十分簡潔，無論是 Darwin 還是 Linux 操作系統(tǒng)祸憋，執(zhí)行一行命令即可安裝成功：

COPYcurl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

該命令將 TiUP 安裝在 $HOME/.tiup 文件夾下会宪，之后安裝的組件以及組件運行產(chǎn)生的數(shù)據(jù)也會放在該文件夾下。同時蚯窥，它還會自動將 $HOME/.tiup/bin 加入到 Shell Profile 文件的 PATH 環(huán)境變量中掸鹅，這樣你就可以直接使用 TiUP 了塞帐。

image-20210308095820951

配置TiUP環(huán)境

重新聲明全局環(huán)境變量

COPYsource .bash_profile

檢查TiUP 工具是否安裝

COPYwhich tiup

image-20210308100108540

安裝 cluster 組件

COPYtiup cluster

image-20210308100218193

升級cluster組件

如果機器已經(jīng)安裝 TiUP cluster匙赞，需要更新軟件版本

COPYtiup update --self && tiup update cluster

預期輸出 “Update successfully!” 字樣氛驮。

image-20210308100305454

編輯部署文件

請根據(jù)不同的集群拓撲同蜻，編輯 TiUP 所需的集群初始化配置文件舀凛。

常見的部署場景

最小拓撲架構(gòu)

最基本的集群拓撲匹中，包括 tidb-server榜揖、tikv-server郎楼、pd-server死嗦，適合 OLTP 業(yè)務(wù)务甥。

增加 TiFlash 拓撲架構(gòu)

包含最小拓撲的基礎(chǔ)上牡辽，同時部署 TiFlash。TiFlash 是列式的存儲引擎敞临，已經(jīng)逐步成為集群拓撲的標配态辛。適合 Real-Time HTAP 業(yè)務(wù)。

增加 TiCDC 拓撲架構(gòu)

包含最小拓撲的基礎(chǔ)上挺尿，同時部署 TiCDC奏黑。TiCDC 是 4.0 版本開始支持的 TiDB 增量數(shù)據(jù)同步工具，支持多種下游 (TiDB/MySQL/MQ)编矾。相比于 TiDB Binlog熟史，TiCDC 有延遲更低、天然高可用等優(yōu)點窄俏。在部署完成后蹂匹，需要啟動 TiCDC，通過 cdc cli 創(chuàng)建同步任務(wù)凹蜈。

增加 TiDB Binlog 拓撲架構(gòu)

包含最小拓撲的基礎(chǔ)上限寞，同時部署 TiDB Binlog。TiDB Binlog 是目前廣泛使用的增量同步組件仰坦，可提供準實時備份和同步功能履植。

增加 TiSpark 拓撲架構(gòu)

包含最小拓撲的基礎(chǔ)上，同時部署 TiSpark 組件悄晃。TiSpark 是 PingCAP 為解決用戶復雜 OLAP 需求而推出的產(chǎn)品玫霎。TiUP cluster 組件對 TiSpark 的支持目前為實驗性特性。

混合部署拓撲架構(gòu)

適用于單臺機器妈橄，混合部署多個實例的情況鼠渺，也包括單機多實例，需要額外增加目錄眷细、端口、資源配比鹃祖、label 等配置溪椎。

單機極簡部署

部署主機軟件和環(huán)境要求：

• 部署需要使用部署主機的 root 用戶及密碼
• 部署主機關(guān)閉防火墻或者開放 TiDB 集群的節(jié)點間所需端口

單機極簡拓撲

編輯配置文件

按下面的配置模板，編輯配置文件，命名為 topo.yaml

• user: "tidb"：表示通過 tidb 系統(tǒng)用戶（部署會自動創(chuàng)建）來做集群的內(nèi)部管理校读，默認使用 22 端口通過 ssh 登錄目標機器
• replication.enable-placement-rules：設(shè)置這個 PD 參數(shù)來確保 TiFlash 正常運行
• host：設(shè)置為本部署主機的 IP

COPY# # Global variables are applied to all deployments and used as the default value of
# # the deployments if a specific deployment value is missing.
global:
 user: "tidb"
 ssh_port: 22
 deploy_dir: "/tidb-deploy"
 data_dir: "/tidb-data"

# # Monitored variables are applied to all the machines.
monitored:
 node_exporter_port: 9100
 blackbox_exporter_port: 9115

server_configs:
 tidb:
   log.slow-threshold: 300
 tikv:
   readpool.storage.use-unified-pool: false
   readpool.coprocessor.use-unified-pool: true
 pd:
   replication.enable-placement-rules: true
   replication.location-labels: ["host"]
 tiflash:
   logger.level: "info"

pd_servers:
 - host: 192.168.64.146

tidb_servers:
 - host: 192.168.64.146

tikv_servers:
 - host: 192.168.64.146
   port: 20160
   status_port: 20180
   config:
     server.labels: { host: "logic-host-1" }

 - host: 192.168.64.146
   port: 20161
   status_port: 20181
   config:
     server.labels: { host: "logic-host-2" }

 - host: 192.168.64.146
   port: 20162
   status_port: 20182
   config:
     server.labels: { host: "logic-host-3" }

tiflash_servers:
 - host: 192.168.64.146

monitoring_servers:
 - host: 192.168.64.146

grafana_servers:
 - host: 192.168.64.146

執(zhí)行集群部署命令

命令格式

COPYtiup cluster deploy <cluster-name> <tidb-version> ./topo.yaml --user root -p

參數(shù)解釋

• 參數(shù) <cluster-name> 表示設(shè)置集群名稱
• 參數(shù) <tidb-version> 表示設(shè)置集群版本沼侣，可以通過 tiup list tidb 命令來查看當前支持部署的 TiDB 版本
• 參數(shù)：--user root通過 root 用戶登錄到目標主機完成集群部署，該用戶需要有 ssh 到目標機器的權(quán)限歉秫，并且在目標機器有 sudo 權(quán)限蛾洛。也可以用其他有 ssh 和 sudo 權(quán)限的用戶完成部署。

檢查TiDB最新版本

可以通過執(zhí)行 tiup list tidb 來查看 TiUP 支持的版本

COPYtiup list tidb

經(jīng)過執(zhí)行發(fā)現(xiàn) 最新可用的TiDB版本是 v4.0.11

執(zhí)行部署命令

COPYtiup cluster deploy tidb-cluster 4.0.11 ./topo.yaml --user root -p

下面輸入y繼續(xù)后輸入密碼進行安裝界面

image-20210308140623236

進入安裝界面雁芙，等待安裝即可

image-20210308102532412

如果出現(xiàn)deployed successfully表示部署成功,集群名稱是tidb-cluster

image-20210308103047705

啟動集群

COPYtiup cluster start tidb-cluster

image-20210308103329722

查看節(jié)點狀態(tài)

COPYtiup cluster display tidb-cluster

所有節(jié)點都是Up狀態(tài)說明都已經(jīng)啟動就緒了

image-20210309113426102

測試TiDB集群

Mysql連接集群

TiDB的連接端口默認是4000轧膘， 密碼是空，可用使用Mysql客戶端以及第三方工具進行連接

安裝MySql客戶端

COPYyum -y install mysql

MySql客戶端連接

訪問 TiDB 數(shù)據(jù)庫兔甘，密碼為空

COPYmysql -h 192.168.64.146 -P 4000 -u root

image-20210308104058321

第三方客戶端訪問Mysql

使用SQLyog訪問TiDB

創(chuàng)建TiDB連接

image-20210308104229510

連接后就可以操作數(shù)據(jù)庫了

image-20210308104434635

訪問Grafana監(jiān)控

通過 http://{grafana-ip}:3000 訪問集群 Grafana 監(jiān)控頁面谎碍，默認用戶名和密碼均為 admin。

image-20210308104706041

訪問Dashboard

通過 http://{pd-ip}:2379/dashboard 訪問集群 TiDB Dashboard監(jiān)控頁面洞焙，默認用戶名為 root蟆淀，密碼為空。

image-20210308104829297

查看集群列表

COPYtiup cluster list

image-20210308110936945

查看集群拓撲

COPYtiup cluster display tidb-cluster

image-20210308111048597

TiDB擴縮容

當前集群部署拓撲

擴容TiKV節(jié)點

需要擴容一個TiKV節(jié)點

編寫擴容腳本

在 scale-out.yaml 文件添加擴容拓撲配置

COPYvi scale-out.yaml
COPYtikv_servers:
  - host: 192.168.64.152
    ssh_port: 22
    port: 20163
    status_port: 20183
    deploy_dir: /tidb-deploy/tikv-20163
    data_dir: /tidb-data/tikv-20163
    config:
        server.labels:
            host: logic-host-4

執(zhí)行擴容命令

命令格式

COPYtiup cluster scale-out <cluster-name> scale-out.yaml -p

• cluster-name：TiDB集群名稱
• p：使用密碼方式登錄當前機器

執(zhí)行命令

COPYtiup cluster scale-out tidb-cluster scale-out.yaml -p

輸入命令后澡匪，確認輸入機器密碼

image-20210308152355455

出現(xiàn)successfully表示節(jié)點擴容成功

image-20210308152524912

驗證擴容信息

查看節(jié)點信息

COPYtiup cluster display tidb-cluster

我們看到Tikv已經(jīng)增加了一個節(jié)點

image-20210308152647801

通過dashboard查看

也可以看到擴容的節(jié)點信息

image-20210308152905774

縮容TiKV節(jié)點

查看節(jié)點信息

COPYtiup cluster display tidb-cluster

當前TiKV是4個節(jié)點

image-20210308152647801

執(zhí)行縮容操作

縮容命令

COPYtiup cluster scale-in <cluster-name> --node 192.168.64.152:20163

參數(shù)解釋

• cluster-name：集群名稱
• node：需要刪除的節(jié)點地址

執(zhí)行命令

COPYtiup cluster scale-in tidb-cluster --node 192.168.64.152:20163

出現(xiàn)確認操作后熔任，輸入y確認執(zhí)行就可以執(zhí)行縮容操作了

image-20210308153500262

驗證縮容信息

查看節(jié)點信息

COPYtiup cluster display tidb-cluster

我們看到需要縮容的節(jié)點狀態(tài)是Tombstone說明已經(jīng)下線，下線需要一定時間唁情，下線節(jié)點的狀態(tài)變?yōu)?Tombstone 就說明下線成功

image-20210308153639934

通過dashboard查看

也可以看到縮容的節(jié)點已經(jīng)不存在了疑苔，說明縮容成功

image-20210308153901260

博客內(nèi)容遵循 署名-非商業(yè)性使用-相同方式共享 4.0 國際 (CC BY-NC-SA 4.0) 協(xié)議

本文永久鏈接是：http://www.baiyp.ren/TIDB%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2.html

更新于：2021年5月27日

集群部署

TIDB

本文由傳智教育博學谷狂野架構(gòu)師教研團隊發(fā)布。

如果本文對您有幫助荠瘪，歡迎關(guān)注和點贊夯巷；如果您有任何建議也可留言評論或私信，您的支持是我堅持創(chuàng)作的動力哀墓。

轉(zhuǎn)載請注明出處趁餐！