Merge branch 'main' into merge/mainto3.0

taosdata · Nov 5, 2024 · fde95b1 · fde95b1
2 parents f13d262 + 23df1e3
commit fde95b1
Show file tree

Hide file tree

Showing 50 changed files with 1,715 additions and 565 deletions.
diff --git a/cmake/cmake.define b/cmake/cmake.define
@@ -191,48 +191,11 @@ ELSE()
         SET(COMPILER_SUPPORT_AVX512VL false)
     ELSE()
         CHECK_C_COMPILER_FLAG("-mfma" COMPILER_SUPPORT_FMA)
+        CHECK_C_COMPILER_FLAG("-mavx" COMPILER_SUPPORT_AVX)
+        CHECK_C_COMPILER_FLAG("-mavx2" COMPILER_SUPPORT_AVX2)
         CHECK_C_COMPILER_FLAG("-mavx512f" COMPILER_SUPPORT_AVX512F)
         CHECK_C_COMPILER_FLAG("-mavx512vbmi" COMPILER_SUPPORT_AVX512BMI)
         CHECK_C_COMPILER_FLAG("-mavx512vl" COMPILER_SUPPORT_AVX512VL)
-
-        INCLUDE(CheckCSourceRuns)
-        SET(CMAKE_REQUIRED_FLAGS "-mavx")
-        check_c_source_runs("
-        #include <immintrin.h>
-        int main() {
-          __m256d a, b, c;
-          double buf[4] = {0};
-          a = _mm256_loadu_pd(buf);
-          b = _mm256_loadu_pd(buf);
-          c = _mm256_add_pd(a, b);
-          _mm256_storeu_pd(buf, c);
-          for (int i = 0; i < sizeof(buf) / sizeof(buf[0]); ++i) {
-            IF (buf[i] != 0) {
-              return 1;
-            }
-          }
-          return 0;
-        }
-      " COMPILER_SUPPORT_AVX)
-
-        SET(CMAKE_REQUIRED_FLAGS "-mavx2")
-        check_c_source_runs("
-        #include <immintrin.h>
-        int main() {
-          __m256i a, b, c;
-          int buf[8] = {0};
-          a = _mm256_loadu_si256((__m256i *)buf);
-          b = _mm256_loadu_si256((__m256i *)buf);
-          c = _mm256_and_si256(a, b);
-          _mm256_storeu_si256((__m256i *)buf, c);
-          for (int i = 0; i < sizeof(buf) / sizeof(buf[0]); ++i) {
-            IF (buf[i] != 0) {
-              return 1;
-            }
-          }
-          return 0;
-        }
-      " COMPILER_SUPPORT_AVX2)
     ENDIF()
 
     IF(COMPILER_SUPPORT_SSE42)

diff --git a/docs/zh/04-get-started/01-docker.md b/docs/zh/04-get-started/01-docker.md
@@ -23,17 +23,18 @@ docker pull tdengine/tdengine:3.3.3.0
 然后只需执行下面的命令：
 
 ```shell
-docker run -d -p 6030:6030 -p 6041:6041 -p 6043-6060:6043-6060 -p 6043-6060:6043-6060/udp tdengine/tdengine
+docker run -d -p 6030:6030 -p 6041:6041 -p 6043:6043 -p 6044-6049:6044-6049 -p 6044-6045:6044-6045/udp -p 6060:6060 tdengine/tdengine
 ```
 
-注意：TDengine 3.0 服务端仅使用 6030 TCP 端口。6041 为 taosAdapter 所使用提供 REST 服务端口。6043-6049 为 taosAdapter 提供第三方应用接入所使用端口，可根据需要选择是否打开。
+注意：TDengine 3.0 服务端仅使用 6030 TCP 端口。6041 为 taosAdapter 所使用提供 REST 服务端口。6043 为 taosKeeper 使用端口。6044-6049 TCP 端口为 taosAdapter 提供第三方应用接入所使用端口，可根据需要选择是否打开。
+6044 和 6045 UDP 端口为 statsd 和 collectd 格式写入接口，可根据需要选择是否打开。6060 为 taosExplorer 使用端口。具体端口使用情况请参考[网络端口要求](../../operation/planning#网络端口要求)。
 
 如果需要将数据持久化到本机的某一个文件夹，则执行下边的命令：
 
 ```shell
 docker run -d -v ~/data/taos/dnode/data:/var/lib/taos \
   -v ~/data/taos/dnode/log:/var/log/taos \
-  -p 6030:6030 -p 6041:6041 -p 6043-6060:6043-6060 -p 6043-6060:6043-6060/udp tdengine/tdengine
+  -p 6030:6030 -p 6041:6041 -p 6043:6043 -p 6044-6049:6044-6049 -p 6044-6045:6044-6045/udp -p 6060:6060 tdengine/tdengine
 ```
 
 :::note

diff --git a/docs/zh/05-basic/01-model.md b/docs/zh/05-basic/01-model.md
@@ -106,7 +106,7 @@ CREATE DATABASE power PRECISION 'ms' KEEP 3650 DURATION 10 BUFFER 16;
 ```
 该 SQL 将创建一个名为 `power` 的数据库，各参数说明如下：
 - `PRECISION 'ms'` ：这个数据库的时序数据使用毫秒（ms）精度的时间戳
-- `KEEP 365`：这个库的数据将保留 3650 天，超过 3650 天的数据将被自动删除
+- `KEEP 3650`：这个库的数据将保留 3650 天，超过 3650 天的数据将被自动删除
 - `DURATION 10` ：每 10 天的数据放在一个数据文件中
 - `BUFFER 16` ：写入使用大小为 16MB 的内存池。
 
@@ -214,4 +214,4 @@ TDengine 支持灵活的数据模型设计，包括多列模型和单列模型
 
 尽管 TDengine 推荐使用多列模型，因为这种模型在写入效率和存储效率方面通常更优，但在某些特定场景下，单列模型可能更为适用。例如，当一个数据采集点的采集量种类经常发生变化时，如果采用多列模型，就需要频繁修改超级表的结构定义，这会增加应用程序的复杂性。在这种情况下，采用单列模型可以简化应用程序的设计和管理，因为它允许独立地管理和扩展每个物理量的超级表。
 
-总之，TDengine 提供了灵活的数据模型选项，用户可以根据实际需求和场景选择最适合的模型，以优化性能和管理复杂性。
+总之，TDengine 提供了灵活的数据模型选项，用户可以根据实际需求和场景选择最适合的模型，以优化性能和管理复杂性。
diff --git a/docs/zh/05-basic/03-query.md b/docs/zh/05-basic/03-query.md
@@ -8,7 +8,7 @@ toc_max_heading_level: 4
 
 ## 基本查询
 
-为了更好的介绍 TDengine 数据查询，使用 如下 taosBenchmark 命令，生成本章内容需要的时序数据。
+为了更好的介绍 TDengine 数据查询，使用如下 taosBenchmark 命令，生成本章内容需要的时序数据。
 
 ```shell
 taosBenchmark --start-timestamp=1600000000000 --tables=100 --records=10000000 --time-step=10000
@@ -25,7 +25,7 @@ ORDER BY ts DESC
 LIMIT 5;
 ```
 
-上面的 SQL，从超级表 `meters` 中查询出电压 `voltage` 大于 230 的记录，按时间降序排列，且仅输出前 5 行。查询结果如下：
+上面的 SQL，从超级表 `meters` 中查询出电压 `voltage` 大于 230V 的记录，按时间降序排列，且仅输出前 5 行。查询结果如下：
 
 ```text
           ts            |  current   | voltage |    phase    | groupid |          location        |

diff --git a/docs/zh/08-operation/02-planning.md b/docs/zh/08-operation/02-planning.md
@@ -146,11 +146,17 @@ TDengine 的多级存储功能在使用上还具备以下优点。
 
 下表列出了 TDengine 的一些接口或组件的常用端口，这些端口均可以通过配置文件中的参数进行修改。
 
-|    接口或组件     |    端口    |
-| :---------------: | :--------: |
-| 原生接口（taosc） |    6030    |
-|   RESTful 接口    |    6041    |
-|  WebSocket 接口   |    6041    |
-|    taosKeeper     |    6043    |
-|       taosX       | 6050, 6055 |
-|   taosExplorer    |    6060    |
+|               接口或组件名称                 |     端口   |   协议    |
+|:-----------------------------------------:|:----------:|:--------:|
+|             原生接口（taosc）               |    6030    |   TCP   |
+|              RESTful 接口                  |    6041    |   TCP   |
+|             WebSocket 接口                 |    6041    |   TCP   |
+|              taosKeeper                   |    6043    |   TCP   |
+|            statsd 格式写入接口              |    6044    | TCP/UDP |
+|           collectd 格式写入接口             |    6045    | TCP/UDP |
+|        openTSDB Telnet 格式写入接口         |    6046    |   TCP   |
+|  collectd 使用 openTSDB Telnet 格式写入接口  |    6047    |   TCP   |
+|  icinga2 使用 openTSDB Telnet 格式写入接口   |    6048    |   TCP   |
+| tcollector 使用 openTSDB Telnet 格式写入接口 |    6049    |   TCP   |
+|                taosX                      | 6050, 6055 |   TCP   |
+|             taosExplorer                  |    6060    |   TCP   |
diff --git a/docs/zh/14-reference/01-components/01-taosd.md b/docs/zh/14-reference/01-components/01-taosd.md
@@ -156,8 +156,8 @@ charset 的有效值是 UTF-8。
 ### 内存相关
 |      参数名称       |                    参数说明                     |
 | :----------------: | :---------------------------------------------: |
-| rpcQueueMemoryAllowed       | 一个 dnode 允许的 rpc 消息占用的内存最大值，单位 bytes，取值范围：10485760-INT64_MAX，缺省值：服务器内存的 1/10 |
-| syncLogBufferMemoryAllowed  | 一个 dnode 允许的 sync 日志缓存消息占用的内存最大值，单位 bytes，取值范围：10485760-INT64_MAX，缺省值：服务器内存的 1/10，3.1.3.2/3.3.2.13 版本开始生效 |
+| rpcQueueMemoryAllowed       | 一个 dnode 允许的 rpc 消息占用的内存最大值，单位 bytes，取值范围：104857600-INT64_MAX，缺省值：服务器内存的 1/10 |
+| syncLogBufferMemoryAllowed  | 一个 dnode 允许的 sync 日志缓存消息占用的内存最大值，单位 bytes，取值范围：104857600-INT64_MAX，缺省值：服务器内存的 1/10，3.1.3.2/3.3.2.13 版本开始生效 |
 
 ### 性能调优
 

diff --git a/docs/zh/14-reference/03-taos-sql/02-database.md b/docs/zh/14-reference/03-taos-sql/02-database.md
@@ -63,7 +63,7 @@ database_option: {
 - MAXROWS：文件块中记录的最大条数，默认为 4096 条。
 - MINROWS：文件块中记录的最小条数，默认为 100 条。
 - KEEP：表示数据文件保存的天数，缺省值为 3650，取值范围 [1, 365000]，且必须大于或等于3倍的 DURATION 参数值。数据库会自动删除保存时间超过 KEEP 值的数据。KEEP 可以使用加单位的表示形式，如 KEEP 100h、KEEP 10d 等，支持 m（分钟）、h（小时）和 d（天）三个单位。也可以不写单位，如 KEEP 50，此时默认单位为天。企业版支持[多级存储](https://docs.taosdata.com/tdinternal/arch/#%E5%A4%9A%E7%BA%A7%E5%AD%98%E5%82%A8)功能, 因此, 可以设置多个保存时间（多个以英文逗号分隔，最多 3 个，满足 keep 0 \<= keep 1 \<= keep 2，如 KEEP 100h,100d,3650d）; 社区版不支持多级存储功能（即使配置了多个保存时间, 也不会生效, KEEP 会取最大的保存时间）。
-- STT_TRIGGER：表示落盘文件触发文件合并的个数。默认为 1，范围 1 到 16。对于少表高频场景，此参数建议使用默认配置，或较小的值；而对于多表低频场景，此参数建议配置较大的值。
+- STT_TRIGGER：表示落盘文件触发文件合并的个数。开源版本固定为 1，企业版本可设置范围为 1 到 16。对于少表高频写入场景，此参数建议使用默认配置；而对于多表低频写入场景，此参数建议配置较大的值。
 - SINGLE_STABLE：表示此数据库中是否只可以创建一个超级表，用于超级表列非常多的情况。
   - 0：表示可以创建多张超级表。
   - 1：表示只可以创建一张超级表。
@@ -74,8 +74,8 @@ database_option: {
   - 1：写 WAL，但不执行 fsync。
   - 2：写 WAL，而且执行 fsync。
 - WAL_FSYNC_PERIOD：当 WAL_LEVEL 参数设置为 2 时，用于设置落盘的周期。默认为 3000，单位毫秒。最小为 0，表示每次写入立即落盘；最大为 180000，即三分钟。
-- WAL_RETENTION_PERIOD: 为了数据订阅消费，需要WAL日志文件额外保留的最大时长策略。WAL日志清理，不受订阅客户端消费状态影响。单位为 s。默认为 3600，表示在 WAL 保留最近 3600 秒的数据，请根据数据订阅的需要修改这个参数为适当值。
-- WAL_RETENTION_SIZE：为了数据订阅消费，需要WAL日志文件额外保留的最大累计大小策略。单位为 KB。默认为 0，表示累计大小无上限。
+- WAL_RETENTION_PERIOD: 为了数据订阅消费，需要 WAL 日志文件额外保留的最大时长策略。WAL 日志清理，不受订阅客户端消费状态影响。单位为 s。默认为 3600，表示在 WAL 保留最近 3600 秒的数据，请根据数据订阅的需要修改这个参数为适当值。
+- WAL_RETENTION_SIZE：为了数据订阅消费，需要 WAL 日志文件额外保留的最大累计大小策略。单位为 KB。默认为 0，表示累计大小无上限。
 ### 创建数据库示例
 
 ```sql

diff --git a/docs/zh/14-reference/03-taos-sql/03-table.md b/docs/zh/14-reference/03-taos-sql/03-table.md
@@ -42,12 +42,12 @@ table_option: {
 **使用说明**
 
 1. 表（列）名命名规则参见[名称命名规则](./19-limit.md#名称命名规则)。
-1. 表名最大长度为 192。
-1. 表的第一个字段必须是 TIMESTAMP，并且系统自动将其设为主键。
-1. 除时间戳主键列之外，还可以通过 PRIMARY KEY 关键字指定第二列为额外的主键列。被指定为主键列的第二列必须为整型或字符串类型（varchar）。
-1. 表的每行长度不能超过 48KB（从 3.0.5.0 版本开始为 64KB）;（注意：每个 BINARY/NCHAR/GEOMETRY 类型的列还会额外占用 2 个字节的存储位置）。
-1. 使用数据类型 BINARY/NCHAR/GEOMETRY，需指定其最长的字节数，如 BINARY(20)，表示 20 字节。
-1. 关于 `ENCODE` 和 `COMPRESS` 的使用，请参考[按列压缩](../compress)
+2. 表名最大长度为 192。
+3. 表的第一个字段必须是 TIMESTAMP，并且系统自动将其设为主键。
+4. 除时间戳主键列之外，还可以通过 PRIMARY KEY 关键字指定第二列为额外的主键列。被指定为主键列的第二列必须为整型或字符串类型（VARCHAR）。
+5. 表的每行长度不能超过 48KB（从 3.0.5.0 版本开始为 64KB）;（注意：每个 VARCHAR/NCHAR/GEOMETRY 类型的列还会额外占用 2 个字节的存储位置）。
+6. 使用数据类型 VARCHAR/NCHAR/GEOMETRY，需指定其最长的字节数，如 VARCHAR(20)，表示 20 字节。
+7. 关于 `ENCODE` 和 `COMPRESS` 的使用，请参考[按列压缩](../compress)
 
 **参数说明**
 

diff --git a/docs/zh/14-reference/03-taos-sql/07-tag-index.md b/docs/zh/14-reference/03-taos-sql/07-tag-index.md
@@ -11,7 +11,7 @@ description: 使用标签索引提升查询性能
 创建索引的语法如下 
 
 ```sql
-CREATE INDEX index_name ON tbl_name (tagColName）
+CREATE INDEX index_name ON tbl_name (tagColName)
 ```
 
 其中 `index_name` 为索引名称， `tbl_name` 为超级表名称，`tagColName` 为要在其上建立索引的 tag 列的名称。`tagColName` 的类型不受限制，即任何类型的 tag 列都可以建立索引。

diff --git a/include/util/tcompression.h b/include/util/tcompression.h
@@ -152,15 +152,12 @@ int32_t tsDecompressBigint(void *pIn, int32_t nIn, int32_t nEle, void *pOut, int
 // for internal usage
 int32_t getWordLength(char type);
 
-#ifdef __AVX2__
 int32_t tsDecompressIntImpl_Hw(const char *const input, const int32_t nelements, char *const output, const char type);
 int32_t tsDecompressFloatImpAvx2(const char *input, int32_t nelements, char *output);
 int32_t tsDecompressDoubleImpAvx2(const char *input, int32_t nelements, char *output);
-#endif
-#ifdef __AVX512VL__
-void tsDecompressTimestampAvx2(const char *input, int32_t nelements, char *output, bool bigEndian);
-void tsDecompressTimestampAvx512(const char *const input, const int32_t nelements, char *const output, bool bigEndian);
-#endif
+int32_t tsDecompressTimestampAvx2(const char *input, int32_t nelements, char *output, bool bigEndian);
+int32_t tsDecompressTimestampAvx512(const char *const input, const int32_t nelements, char *const output,
+                                    bool bigEndian);
 
 /*************************************************************************
  *                  REGULAR COMPRESSION 2

diff --git a/include/util/tdef.h b/include/util/tdef.h
@@ -41,6 +41,7 @@ extern const int32_t TYPE_BYTES[21];
 #define FLOAT_BYTES     sizeof(float)
 #define DOUBLE_BYTES    sizeof(double)
 #define POINTER_BYTES   sizeof(void *)
+#define M256_BYTES      32
 #define TSDB_KEYSIZE    sizeof(TSKEY)
 #define TSDB_NCHAR_SIZE sizeof(TdUcs4)
 

diff --git a/packaging/tools/mac_install_summary_client.txt b/packaging/tools/mac_install_summary_client.txt
@@ -0,0 +1,4 @@
+TDengine client is installed successfully. Please open a terminal and execute the commands below:
+
+To configure TDengine client, sudo vi /etc/taos/taos.cfg
+To access TDengine command line interface, taos -h YouServerName
diff --git a/source/common/src/tcol.c b/source/common/src/tcol.c
@@ -363,6 +363,9 @@ int8_t validColEncode(uint8_t type, uint8_t l1) {
   if (l1 == TSDB_COLVAL_ENCODE_NOCHANGE) {
     return 1;
   }
+  if (l1 == TSDB_COLVAL_ENCODE_DISABLED) {
+    return 1;
+  }
   if (type == TSDB_DATA_TYPE_BOOL) {
     return TSDB_COLVAL_ENCODE_RLE == l1 ? 1 : 0;
   } else if (type >= TSDB_DATA_TYPE_TINYINT && type <= TSDB_DATA_TYPE_INT) {

diff --git a/source/common/src/tglobal.c b/source/common/src/tglobal.c
@@ -1646,6 +1646,9 @@ static int32_t taosSetServerCfg(SConfig *pCfg) {
   TAOS_CHECK_GET_CFG_ITEM(pCfg, pItem, "checkpointInterval");
   tsStreamCheckpointInterval = pItem->i32;
 
+  TAOS_CHECK_GET_CFG_ITEM(pCfg, pItem, "concurrentCheckpoint");
+  tsMaxConcurrentCheckpoint = pItem->i32;
+
   TAOS_CHECK_GET_CFG_ITEM(pCfg, pItem, "streamSinkDataRate");
   tsSinkDataRate = pItem->fval;
 

diff --git a/source/dnode/mnode/impl/inc/mndArbGroup.h b/source/dnode/mnode/impl/inc/mndArbGroup.h
@@ -47,6 +47,15 @@ bool mndUpdateArbGroupBySetAssignedLeader(SArbGroup *pGroup, int32_t vgId, char
 
 int32_t mndGetArbGroupSize(SMnode *pMnode);
 
+typedef enum {
+  CHECK_SYNC_NONE = 0,
+  CHECK_SYNC_SET_ASSIGNED_LEADER = 1,
+  CHECK_SYNC_CHECK_SYNC = 2,
+  CHECK_SYNC_UPDATE = 3
+} ECheckSyncOp;
+
+void mndArbCheckSync(SArbGroup *pArbGroup, int64_t nowMs, ECheckSyncOp *pOp, SArbGroup *pNewGroup);
+
 #ifdef __cplusplus
 }
 #endif

diff --git a/source/dnode/mnode/impl/inc/mndDef.h b/source/dnode/mnode/impl/inc/mndDef.h
@@ -70,7 +70,7 @@ typedef enum {
   MND_OPER_WRITE_DB,
   MND_OPER_READ_DB,
   MND_OPER_READ_OR_WRITE_DB,
-  MND_OPER_SHOW_VARIBALES,
+  MND_OPER_SHOW_VARIABLES,
   MND_OPER_SUBSCRIBE,
   MND_OPER_CREATE_TOPIC,
   MND_OPER_DROP_TOPIC,