| title | summary | category |
|---|---|---|
TiDB Lightning TiDB-Backend |
了解 TiDB Lightning TiDB-backend。 |
reference |
TiDB Lightning 的后端决定 tidb-lightning 将如何把将数据导入到目标集群中。目前，TiDB Lightning 支持 Importer-backend（默认）和 TiDB-backend 两种后端，两者导入数据的区别如下：
-
Importer-backend：
tidb-lightning先将 SQL 或 CSV 数据编码成键值对，由tikv-importer对写入的键值对进行排序，然后把这些键值对 Ingest 到 TiKV 节点中。 -
TiDB-backend：
tidb-lightning先将数据编码成INSERT语句，然后直接在 TiDB 节点上运行这些 SQL 语句进行数据导入。
| 后端 | Importer-backend | TiDB-backend |
|---|---|---|
| 速度 | 快 (~300 GB/小时) | 慢 (~50 GB/小时) |
| 资源使用率 | 高 | 低 |
| 导入时是否满足 ACID | 否 | 是 |
| 目标表 | 必须为空 | 可以不为空 |
使用 TiDB-backend 时，你无需部署 tikv-importer。与标准部署过程相比，部署 TiDB-backend 时有如下不同：
- 可以跳过所有涉及
tikv-importer的步骤。 - 必须更改相应配置申明使用的是 TiDB-backend。
使用 TiDB-backend 时， TiDB Lightning 的速度仅受限于 TiDB 执行 SQL 语句的速度。因此，即使是低配的机器也足够发挥出最佳性能。推荐的硬件配置如下：
- 16 逻辑核 CPU
- 足够储存整个数据源的 SSD 硬盘，读取速度越快越好
- 千兆网卡
-
inventory.ini文件中，[importer_server]部分可以留空。... [importer_server] # keep empty [lightning_server] 192.168.20.10 ...
-
忽略
group_vars/all.yml文件中tikv_importer_port部分的设置，group_vars/importer_server.yml文件也不需要修改。但是你需要在conf/tidb-lightning.yml文件中将backend设置更改为tidb。... tikv_importer: backend: "tidb" # <-- 改成 “tidb” ...
-
启动、部署集群。
-
为 TiDB Lightning 挂载数据源。
-
启动
tidb-lightning。
手动部署时，你无需下载和配置 tikv-importer。
在运行 tidb-lightning 之前，在配置文件中加上如下几行：
[tikv-importer]
backend = "tidb"或者在用命令行启动 tidb-lightning 时，传入参数 --backend tidb。
TiDB-backend 支持导入到已填充的表（非空表）。但是，新数据可能会与旧数据的唯一键冲突。你可以通过使用如下任务配置来控制遇到冲突时的默认行为：
[tikv-importer]
backend = "tidb"
on-duplicate = "replace" # 或者 “error”、“ignore”| 设置 | 冲突时默认行为 | 对应 SQL 语句 |
|---|---|---|
| replace | 新数据替代旧数据 | REPLACE INTO ... |
| ignore | 保留旧数据，忽略新数据 | INSERT IGNORE INTO ... |
| error | 中止导入 | INSERT INTO ... |
TiDB Lightning TiDB-backend 可以完全取代 Loader。下表说明了如何将 Loader 的配置迁移到 TiDB Lightning 配置中：
| Loader | TiDB Lightning |
|---|---|
# 日志
log-level = "info"
log-file = "loader.log"
# Prometheus
status-addr = ":8272"
# 线程数
pool-size = 16 |
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"
# Prometheus
pprof-port = 8289
# 并发度 (最好使用默认设置)
#region-concurrency = 16 |
# 断点数据库名
checkpoint-schema = "tidb_loader" |
[checkpoint]
# 断点存储
enable = true
schema = "tidb_lightning_checkpoint"
# 断点默认存储在本地的文件系统，这样更高效。但你也可以
# 选择将断点存储在目标数据库中，设置如下：
# driver = "mysql" |
|
|
[tikv-importer]
# 使用 TiDB-backend
backend = "tidb" |
# 数据源目录
dir = "/data/export/" |
[mydumper]
# 数据源目录
data-source-dir = "/data/export" |
[db]
# TiDB 连接参数
host = "127.0.0.1"
port = 4000
user = "root"
password = ""
#sql-mode = "" |
[tidb]
# TiDB 连接参数
host = "127.0.0.1"
port = 4000
status-port = 10080 # <- 必须有的参数
user = "root"
password = ""
#sql-mode = "" |