From 4514cb01d6bc4d42549991c8c0b32559643e5240 Mon Sep 17 00:00:00 2001 From: Ilia Shakhov Date: Tue, 21 Jan 2025 14:11:58 +0000 Subject: [PATCH 1/4] Add docs for backup checksums --- .../export-import/_includes/file_structure.md | 17 +++++++++++++++++ .../export-import/_includes/s3_import.md | 1 + .../export-import/_includes/file-structure.md | 17 +++++++++++++++++ .../export-import/_includes/import-s3.md | 1 + 4 files changed, 36 insertions(+) diff --git a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md index 707eb3a803dd..621c9e737725 100644 --- a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md +++ b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md @@ -26,6 +26,23 @@ The format of data files is `.csv`, where each row corresponds to a record in th 1,"%D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82" ``` +## Checksums {#checksums} + +{% note info %} + +Checksums of exported files are only available for export to S3-compatible object storage for now. + +{% endnote %} + +For each export file there is a paired file with the extension `.sha256`, which stores its checksum. + +File checksum can be validated using the `sha256sum` console utility: + +```sh +$ sha256sum -c scheme.pb.sha256 +scheme.pb: OK +``` + ## Examples {#example} ### Tables {#example-table} diff --git a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/s3_import.md b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/s3_import.md index 5cdd13b322ed..5eaabe30729a 100644 --- a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/s3_import.md +++ b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/s3_import.md @@ -31,6 +31,7 @@ To run the command to import data from an S3 storage, specify the [S3 connection `--description STRING`: A text description of the operation saved in the operation history `--retries NUM`: The number of import retries to be made by the server. The default value is 10. +`--skip-checksum-validation`: Skip the step of validating imported objects checksums `--format STRING`: The format of the results. - `pretty`: Human-readable format (default). diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md index 7c34ae7e181f..b7b243c8814d 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md @@ -25,6 +25,23 @@ 1,"%D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82" ``` +## Чексуммы {#checksums} + +{% note info %} + +Чексуммы файлов выгрузки пока что доступны только для выгрузки S3-совместимое объектное хранилище. + +{% endnote %} + +Для каждого файла выгрузки есть парный файл с расширением `.sha256`, в котором хранится его чексумма. + +Чексуммы файлов можно провалидировать с помощью консольной утилиты `sha256sum`: + +```sh +$ sha256sum -c scheme.pb.sha256 +scheme.pb: OK +``` + ## Примеры {#example} ### Таблицы {#example-table} diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md index fb1e2828b37a..a28e4c258b72 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md @@ -31,6 +31,7 @@ `--description STRING`: Текстовое описание операции, сохраняемое в истории операций `--retries NUM`: Количество повторных попыток загрузки, которые будет предпринимать сервер. По умолчанию 10. +`--skip-checksum-validation`: Пропустить этап валидации чексумм загружаемых файлов `--format STRING`: Формат вывода результата - `pretty`: Человекочитаемый формат (по умолчанию) From 244d5e0f8de8ee34b25c162856b97f7fcb31556d Mon Sep 17 00:00:00 2001 From: Ilia Shakhov Date: Tue, 21 Jan 2025 15:04:18 +0000 Subject: [PATCH 2/4] Add little fix --- .../reference/ydb-cli/export-import/_includes/file-structure.md | 2 +- .../core/reference/ydb-cli/export-import/_includes/import-s3.md | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md index b7b243c8814d..88d587f67764 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md @@ -29,7 +29,7 @@ {% note info %} -Чексуммы файлов выгрузки пока что доступны только для выгрузки S3-совместимое объектное хранилище. +Чексуммы файлов выгрузки пока что доступны только для выгрузки в S3-совместимое объектное хранилище. {% endnote %} diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md index a28e4c258b72..e0355b3a22d0 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md @@ -31,7 +31,7 @@ `--description STRING`: Текстовое описание операции, сохраняемое в истории операций `--retries NUM`: Количество повторных попыток загрузки, которые будет предпринимать сервер. По умолчанию 10. -`--skip-checksum-validation`: Пропустить этап валидации чексумм загружаемых файлов +`--skip-checksum-validation`: Пропустить этап валидации чексумм загружаемых объектов `--format STRING`: Формат вывода результата - `pretty`: Человекочитаемый формат (по умолчанию) From e6d51901dde30ea4778ee4a149230428e3213ea0 Mon Sep 17 00:00:00 2001 From: Ilia Shakhov Date: Wed, 22 Jan 2025 10:43:42 +0000 Subject: [PATCH 3/4] Fix --- .../ydb-cli/export-import/_includes/file_structure.md | 2 +- .../ydb-cli/export-import/_includes/file-structure.md | 8 ++++---- .../ydb-cli/export-import/_includes/import-s3.md | 2 +- 3 files changed, 6 insertions(+), 6 deletions(-) diff --git a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md index 621c9e737725..140f7777c25e 100644 --- a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md +++ b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md @@ -30,7 +30,7 @@ The format of data files is `.csv`, where each row corresponds to a record in th {% note info %} -Checksums of exported files are only available for export to S3-compatible object storage for now. +Checksums of exported files are only available for export to S3-compatible object storage at this moment. {% endnote %} diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md index 88d587f67764..362a89b3b8bf 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md @@ -25,17 +25,17 @@ 1,"%D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82" ``` -## Чексуммы {#checksums} +## Контрольные суммы {#checksums} {% note info %} -Чексуммы файлов выгрузки пока что доступны только для выгрузки в S3-совместимое объектное хранилище. +Контрольные суммы файлов выгрузки на данный момент доступны только для выгрузки в S3-совместимое объектное хранилище. {% endnote %} -Для каждого файла выгрузки есть парный файл с расширением `.sha256`, в котором хранится его чексумма. +Для каждого файла выгрузки есть парный файл с расширением `.sha256`, в котором хранится его контрольная сумма. -Чексуммы файлов можно провалидировать с помощью консольной утилиты `sha256sum`: +Контрольные суммы файлов можно проверить с помощью консольной утилиты `sha256sum`: ```sh $ sha256sum -c scheme.pb.sha256 diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md index e0355b3a22d0..b4932643f4bc 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md @@ -31,7 +31,7 @@ `--description STRING`: Текстовое описание операции, сохраняемое в истории операций `--retries NUM`: Количество повторных попыток загрузки, которые будет предпринимать сервер. По умолчанию 10. -`--skip-checksum-validation`: Пропустить этап валидации чексумм загружаемых объектов +`--skip-checksum-validation`: Пропустить этап валидации контрольных сумм загружаемых объектов `--format STRING`: Формат вывода результата - `pretty`: Человекочитаемый формат (по умолчанию) From a63d4f6e60d3ccde3fffeeca18f916b219a32456 Mon Sep 17 00:00:00 2001 From: Ilia Shakhov Date: Tue, 28 Jan 2025 01:05:02 +0000 Subject: [PATCH 4/4] Fix after review --- .../ydb-cli/export-import/_includes/file_structure.md | 6 +++--- .../reference/ydb-cli/export-import/_includes/s3_import.md | 4 ++-- .../ydb-cli/export-import/_includes/file-structure.md | 4 ++-- .../reference/ydb-cli/export-import/_includes/import-s3.md | 6 +++--- 4 files changed, 10 insertions(+), 10 deletions(-) diff --git a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md index 140f7777c25e..554590f0dba7 100644 --- a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md +++ b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/file_structure.md @@ -30,13 +30,13 @@ The format of data files is `.csv`, where each row corresponds to a record in th {% note info %} -Checksums of exported files are only available for export to S3-compatible object storage at this moment. +File checksums are only generated when exporting to S3-compatible object storage. {% endnote %} -For each export file there is a paired file with the extension `.sha256`, which stores its checksum. +{{ ydb-short-name }} generates a checksum for each export file and saves it to a corresponding file with the `.sha256` suffix. -File checksum can be validated using the `sha256sum` console utility: +The file checksum can be validated using the `sha256sum` console utility: ```sh $ sha256sum -c scheme.pb.sha256 diff --git a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/s3_import.md b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/s3_import.md index 5eaabe30729a..9a3d43dc25b7 100644 --- a/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/s3_import.md +++ b/ydb/docs/en/core/reference/ydb-cli/export-import/_includes/s3_import.md @@ -29,9 +29,9 @@ To run the command to import data from an S3 storage, specify the [S3 connection ### Additional parameters {#aux} -`--description STRING`: A text description of the operation saved in the operation history +`--description STRING`: A text description of the operation saved in the operation history. `--retries NUM`: The number of import retries to be made by the server. The default value is 10. -`--skip-checksum-validation`: Skip the step of validating imported objects checksums +`--skip-checksum-validation`: Skip the validating imported objects' checksums step. `--format STRING`: The format of the results. - `pretty`: Human-readable format (default). diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md index 362a89b3b8bf..f869f10114be 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/file-structure.md @@ -29,11 +29,11 @@ {% note info %} -Контрольные суммы файлов выгрузки на данный момент доступны только для выгрузки в S3-совместимое объектное хранилище. +Контрольные суммы файлов создаются только при выгрузке в S3-совместимое объектное хранилище. {% endnote %} -Для каждого файла выгрузки есть парный файл с расширением `.sha256`, в котором хранится его контрольная сумма. +{{ ydb-short-name }} генерирует контрольную сумму для каждого файла выгрузки и сохраняет ее в соответствующем файле с суффиксом `.sha256`. Контрольные суммы файлов можно проверить с помощью консольной утилиты `sha256sum`: diff --git a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md index b4932643f4bc..b8df4610ac92 100644 --- a/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md +++ b/ydb/docs/ru/core/reference/ydb-cli/export-import/_includes/import-s3.md @@ -29,10 +29,10 @@ ### Дополнительные параметры {#aux} -`--description STRING`: Текстовое описание операции, сохраняемое в истории операций +`--description STRING`: Текстовое описание операции, сохраняемое в истории операций. `--retries NUM`: Количество повторных попыток загрузки, которые будет предпринимать сервер. По умолчанию 10. -`--skip-checksum-validation`: Пропустить этап валидации контрольных сумм загружаемых объектов -`--format STRING`: Формат вывода результата +`--skip-checksum-validation`: Пропустить этап валидации контрольных сумм загружаемых объектов. +`--format STRING`: Формат вывода результата. - `pretty`: Человекочитаемый формат (по умолчанию) - `proto-json-base64`: Protobuf в формате json, бинарные строки закодированы в base64