Резервное копирование / восстановление через интерфейс

Страница о том, как создать резервную копию или восстановить её через интерфейс с использованием собственного бакета

Автоматические резервные копии в ваш внешний бакет являются полными и независимыми. Они выполняются с той частотой и в то время начала, которые настроены для сервиса (по умолчанию каждые 24 часа). ClickHouse также каждые 24 часа создаёт отдельную резервную копию в бакете, управляемом ClickHouse; эта периодичность фиксирована.

​

AWS

​

Создание резервных копий в AWS

​

1. Шаги, которые нужно выполнить в AWS

Эти шаги похожи на безопасную настройку S3, описанную в разделе “Безопасный доступ к данным в S3”, однако для разрешений роли также требуются дополнительные действия.

Выполните следующие шаги в своей учетной записи AWS:

1. Создайте S3 бакет в AWS

   Создайте в своей учетной записи AWS S3 бакет, в который вы хотите экспортировать резервные копии.

2. Создайте роль IAM

   AWS использует аутентификацию на основе ролей, поэтому создайте роль IAM, которую сможет использовать сервис ClickHouse Cloud для записи данных в этот S3 бакет.

   • a. Получите ARN на странице настроек сервиса ClickHouse Cloud в разделе Network security information. Он выглядит примерно так:

   • b. Для этой роли создайте политику доверия следующим образом:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "backup service",
         "Effect": "Allow",
         "Principal": {
           "AWS":  "arn:aws:iam::463754717262:role/CH-S3-bordeaux-ar-90-ue2-29-Role"
         },
         "Action": "sts:AssumeRole"
       }
     ]
   }
   
3. Обновите разрешения для роли

   Также необходимо настроить разрешения для этой роли, чтобы сервис ClickHouse Cloud мог записывать данные в S3 бакет. Для этого создайте для роли политику разрешений с JSON, похожим на приведенный ниже, заменив в обоих местах ARN ресурса на ARN вашего бакета.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "s3:GetBucketLocation",
           "s3:ListBucket"
         ],
         "Resource": [
           "arn:aws:s3:::byob-ui"
         ],
         "Effect": "Allow"
       },
       {
         "Action": [
           "s3:Get*",
           "s3:List*",
           "s3:PutObject"
         ],
         "Resource": [
           "arn:aws:s3:::byob-ui/*"
         ],
         "Effect": "Allow"
       },
       {
         "Action": [
           "s3:DeleteObject"
         ],
         "Resource": [
           "arn:aws:s3:::byob-ui/*/.lock"
         ],
         "Effect": "Allow"
       }
     ]
   }
   

​

2. Шаги, которые нужно выполнить в ClickHouse Cloud

Чтобы настроить внешний бакет, выполните следующие шаги в консоли ClickHouse Cloud:

1. Change external backup

   На странице Settings нажмите Set up external backup:

2. Настройка ARN роли AWS IAM и параметров S3 бакета

   На следующем экране укажите ARN только что созданной роли AWS IAM и URL S3 бакета в следующем формате:

3. Сохранение изменений

   Нажмите “Save External Bucket”, чтобы сохранить настройки

4. Изменение стандартного расписания резервного копирования

   Теперь внешние резервные копии будут создаваться в вашем бакете по расписанию по умолчанию. При необходимости вы можете изменить расписание резервного копирования на странице “Settings”. Если задана другая конфигурация, пользовательское расписание и настройка срока хранения применяются к резервным копиям, записываемым в ваш бакет. Для резервных копий в бакете, управляемом ClickHouse Cloud, используются расписание по умолчанию (резервные копии каждые 24 часа) и политика хранения по умолчанию.

5. Просмотр резервных копий, сохранённых в вашем бакете

   На странице Backups эти резервные копии из вашего бакета будут отображаться в отдельной таблице, как показано ниже:

​

Восстановление резервных копий из AWS

Следуйте приведённым ниже шагам, чтобы восстановить резервные копии из AWS:

1. Создайте новый сервис для восстановления

   Создайте новый сервис, в который будет восстановлена резервная копия.

2. Добавьте ARN сервиса

   Добавьте ARN вновь созданного сервиса (со страницы настроек сервиса в консоли ClickHouse Cloud) в политику доверия для роли IAM. Это соответствует второму шагу в разделе AWS Steps выше. Это необходимо, чтобы новый сервис мог получить доступ к S3 бакету.

3. Получите SQL-команду для восстановления резервной копии

   Нажмите ссылку “access or restore a backup” над списком резервных копий в интерфейсе, чтобы получить SQL-команду для восстановления резервной копии. Команда будет выглядеть так:

   Перемещение резервных копий в другое место

   Если вы переместите резервные копии в другое место, вам потребуется изменить команду восстановления так, чтобы она ссылалась на новое расположение.

   Команда ASYNC

   Для команды Restore при необходимости можно также добавить в конец команду ASYNC для крупных восстановлений. Это позволяет выполнять восстановление асинхронно, поэтому даже при потере соединения оно продолжится. Важно отметить, что команда ASYNC сразу возвращает статус успешного выполнения. Это не означает, что восстановление действительно прошло успешно. Вам потребуется отслеживать таблицу system.backups, чтобы увидеть, завершилось ли восстановление и было ли оно успешным или завершилось ошибкой.

4. Выполните команду восстановления

   Выполните команду восстановления в SQL-консоли вновь созданного сервиса, чтобы восстановить резервную копию.

​

GCP

​

Создание резервных копий в GCP

Чтобы создать резервные копии в GCP, выполните следующие действия:

​

Шаги в GCP

1. Создайте бакет хранилища в GCP

   Создайте бакет хранилища в своей учетной записи GCP, чтобы экспортировать в него резервные копии.

2. Сгенерируйте ключ HMAC и Secret

   Сгенерируйте ключ HMAC и Secret, которые требуются для аутентификации по паролю. Чтобы сгенерировать ключи, выполните следующие действия:

   • a. Создайте сервисный аккаунт

     • I. Перейдите в раздел IAM & Admin в Google Cloud Console и выберите Service Accounts.
     • II. Нажмите Create Service Account, укажите имя и ID, затем нажмите Create and Continue.
     • III. Назначьте этому сервисному аккаунту роль Storage Object User.
     • IV. Нажмите Done, чтобы завершить создание сервисного аккаунта.

   • b. Сгенерируйте ключ HMAC

     • I. Перейдите в Cloud Storage в Google Cloud Console и выберите Settings
     • II. Перейдите на вкладку Interoperability.
     • III. В разделе Service account HMAC нажмите Create a key for a service account.
     • IV. В раскрывающемся меню выберите сервисный аккаунт, который вы создали на предыдущем шаге.
     • V. Нажмите Create key.

   • c. Надежно сохраните учетные данные:

     • I. Система отобразит Access ID (ваш ключ HMAC) и Secret (ваш секрет HMAC). Сохраните эти значения, так как после закрытия этого окна секрет больше не будет показан.

​

Шаги в ClickHouse Cloud

Чтобы настроить внешний бакет, выполните следующие действия в консоли ClickHouse Cloud:

1. Change external backup

   На странице Settings нажмите Change external backup

2. Настройка HMAC-ключа и секрета GCP

   Во всплывающем окне укажите путь к бакету GCP, HMAC-ключ и Secret, созданные в предыдущем разделе.

3. Save External Bucket

   Нажмите Save External Bucket, чтобы сохранить настройки.

4. Изменение расписания резервного копирования по умолчанию

   Теперь внешние резервные копии будут создаваться в вашем бакете по расписанию по умолчанию. При необходимости вы можете изменить расписание резервного копирования на странице Settings. Если задана другая конфигурация, пользовательское расписание и настройка срока хранения применяются к резервным копиям, записываемым в ваш бакет. Для резервных копий в бакете, управляемом ClickHouse Cloud, используются расписание по умолчанию (резервные копии каждые 24 часа) и политика хранения по умолчанию.

5. Просмотр резервных копий, сохранённых в вашем бакете

   На странице Backups эти резервные копии из вашего бакета должны отображаться в отдельной таблице, как показано ниже:

​

Восстановление резервных копий из GCP

Чтобы восстановить резервные копии из GCP, выполните следующие шаги:

1. Создайте новый сервис для восстановления

   Создайте новый сервис, в который будет восстановлена резервная копия.

2. Получите SQL-команду для восстановления резервной копии

   Нажмите ссылку access or restore a backup над списком резервных копий в интерфейсе, чтобы получить SQL-команду для восстановления резервной копии. Команда будет выглядеть примерно так; вы можете выбрать нужную резервную копию в раскрывающемся списке, чтобы получить команду восстановления именно для неё. В команду также потребуется добавить свой секретный ключ доступа:

   Перемещение резервных копий в другое расположение

   Если вы переместите резервные копии в другое место, вам потребуется изменить команду восстановления, чтобы она ссылалась на новое расположение.

   Команда ASYNC

   Для команды Restore при больших объёмах восстановления вы также можете при необходимости добавить в конец команду ASYNC. Это позволяет выполнять восстановление асинхронно, поэтому даже при потере соединения восстановление продолжится. Важно отметить, что команда ASYNC сразу возвращает статус успешного выполнения. Это не означает, что восстановление действительно прошло успешно. Вам нужно будет отслеживать таблицу system.backups, чтобы понять, завершилось ли восстановление и прошло ли оно успешно или завершилось с ошибкой.

3. Выполните SQL-команду для восстановления резервной копии

   Выполните команду восстановления в SQL-консоли во вновь созданном сервисе, чтобы восстановить резервную копию.

​

Azure

​

Создание резервных копий в Azure

Чтобы создать резервные копии в Azure, выполните следующие действия:

​

Действия в Azure

1. Создайте учетную запись хранилища

   Создайте учетную запись хранилища или выберите существующую в портале Azure, где будут храниться резервные копии.

2. Получите строку подключения

   • a. В обзоре вашей учетной записи хранилища найдите раздел Security + networking и нажмите Access keys.
   • b. Здесь вы увидите key1 и key2. Под каждым ключом есть поле Connection string.
   • c. Нажмите Show, чтобы отобразить строку подключения. Скопируйте ее — она понадобится для настройки в ClickHouse Cloud.

​

Шаги в ClickHouse Cloud

Чтобы настроить внешний бакет, выполните следующие действия в консоли ClickHouse Cloud:

1. Change external backup

   На странице Settings нажмите Change external backup

2. Укажите строку подключения и имя контейнера для вашей учётной записи хранилища Azure

   На следующем экране укажите Connection String и Container Name для вашей учётной записи хранилища Azure, созданной в предыдущем разделе:

3. Save External Bucket

   Нажмите Save External Bucket, чтобы сохранить настройки

4. Изменение расписания резервного копирования по сравнению с расписанием по умолчанию

   Теперь внешние резервные копии будут создаваться в вашем бакете по расписанию по умолчанию. Либо вы можете настроить расписание резервного копирования на странице Settings. Если задана другая конфигурация, пользовательское расписание и настройка срока хранения применяются к резервным копиям, записываемым в ваш бакет. Для резервных копий в бакете, управляемом ClickHouse Cloud, используется расписание по умолчанию (резервные копии каждые 24 часа) и политика хранения по умолчанию.

5. Просмотр резервных копий, сохранённых в вашем бакете

   На странице Backups эти резервные копии из вашего бакета должны отображаться в отдельной таблице, как показано ниже:

​

Восстановление резервных копий из Azure

Чтобы восстановить резервные копии из Azure, выполните следующие действия:

1. Создайте новый сервис для восстановления

   Создайте новый сервис, в который будет восстановлена резервная копия. В настоящее время поддерживается восстановление резервной копии только в новый сервис.

2. Получите SQL-команду для восстановления резервной копии

   Нажмите ссылку access or restore a backup над списком резервных копий в интерфейсе, чтобы получить SQL-команду для восстановления резервной копии. Команда должна выглядеть примерно так. Вы можете выбрать нужную резервную копию в раскрывающемся списке, чтобы получить команду восстановления именно для нее. В команду нужно будет добавить строку подключения к вашей учетной записи хранилища Azure.

   Перемещение резервных копий в другое место

   Если вы переместите резервные копии в другое место, вам потребуется изменить команду восстановления так, чтобы она ссылалась на новое расположение.

   Команда ASYNC

   Для команды Restore при больших объемах восстановления при необходимости можно также добавить в конец команду ASYNC. Это позволяет выполнять восстановление асинхронно, поэтому при потере соединения восстановление продолжится. Важно отметить, что команда ASYNC сразу возвращает статус успешного выполнения. Это не означает, что восстановление действительно прошло успешно. Вам нужно будет отслеживать таблицу system.backups, чтобы понять, завершилось ли восстановление и прошло ли оно успешно или с ошибкой.

3. Выполните SQL-команду для восстановления резервной копии

   Выполните команду восстановления в SQL-консоли нового сервиса, чтобы восстановить резервную копию.