Перейти к содержанию

3.06.04 Резервное копирование и восстановление данных

Состав резервной копии

Сохраняйте единый комплект одной даты:

  • конфигурацию сервера приложений, TLS и Kerberos;
  • отдельный дамп каждой базы внешнего PostgreSQL, включая Keycloak;
  • дамп MongoDB и дамп основной БД Neo4j;
  • холодные копии постоянных томов MongoDB, Neo4j и RabbitMQ;
  • данные и служебные метаданные внешнего объектного хранилища;
  • конфигурацию и данные Superset, если аналитика используется;
  • инвентаризацию образов, сервисов и mounts.

База Keycloak входит в PostgreSQL: экспорт realm и файлы kcimports не заменяют её дамп. В Compose-комплекте нет сервисов postgres и minio, поэтому PostgreSQL копируется по сети, а объектное хранилище — на его площадке.

Kafka используется как временная очередь без постоянного тома. Её writable layer не входит в резервную копию. Перед остановкой дождитесь обработки накопленных сообщений либо зафиксируйте допустимость повторного формирования задач Discovery. Valkey содержит восстанавливаемый кэш; его каталог /opt/itam/data не требуется для полного восстановления, если в вашей конфигурации не включено иное хранение состояния.

Регламент

Минимальный начальный регламент:

Вид копии Периодичность Срок хранения
Конфигурация и логические дампы Ежедневно и перед каждым изменением 14 дней
Холодные копии томов и объектного хранилища Еженедельно и перед обновлением 30 дней
Копия ВМ сервера приложений Еженедельно и перед обновлением 30 дней

Скорректируйте периодичность по утверждённым RPO/RTO. Храните хотя бы одну копию вне защищаемого узла, шифруйте архивы с персональными данными и секретами, ограничивайте доступ ответственными администраторами. Не удаляйте полную копию, от которой зависят инкременты. Снимок на том же хранилище не считается самостоятельной резервной копией.

Перед восстановлением ВМ из копии изолируйте её сеть: не допускайте совпадения IP, рабочих рассылок и обращений к продуктивным интеграциям.

Подготовьте копирование

Команды рассчитаны на Bash. На сервере приложений нужны Docker Compose и образ с GNU tar, gzip и sh. На машине, с которой выполняются PostgreSQL-дампы, нужны psql, pg_dump, pg_dumpall и pg_restore той же основной версии, что и сервер, либо совместимой более новой основной версии.

Для подключения к PostgreSQL настройте учётную запись с правами чтения всех копируемых БД и глобальных объектов. Используйте файл ~/.pgpass с правами 600 или интерактивный ввод пароля; не передавайте пароль аргументом командной строки.

  1. Задайте параметры комплекта:
set -euo pipefail
TS="$(date +%Y-%m-%d_%H%M%S)"
BK="/var/backups/itam/$TS"
export PGHOST='<DB_HOST>'
export PGPORT='5432'
export PGUSER='<BACKUP_USER>'
ARCHIVE_IMAGE='<ARCHIVE_IMAGE>'
sudo install -d -m 700 "$BK" "$BK/postgres" "$BK/volumes"
df -h "$BK"

В <ARCHIVE_IMAGE> укажите подготовленный образ с GNU tar. В закрытом контуре загрузите его заранее из разрешённого реестра или архива.

  1. Проверьте конфигурацию и сохраните инвентаризацию:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env config --quiet
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env config --services | sudo tee "$BK/services.txt" >/dev/null
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env config --volumes | sudo tee "$BK/volumes.txt" >/dev/null
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env images | sudo tee "$BK/images.txt" >/dev/null
sudo docker inspect $(sudo docker ps -aq) --format '{{.Name}} {{range .Mounts}}{{.Type}} {{.Name}} {{.Source}} -> {{.Destination}}; {{end}}' | sudo tee "$BK/mounts.txt" >/dev/null

Сопоставьте каждый постоянный mount с архивом. Имена ключей Compose и физические имена Docker volumes могут различаться.

Остановите запись в приложение

  1. Согласуйте окно недоступности и остановите сервисы проекта:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env stop
  1. Для дампа MongoDB запустите только её контейнер. Внешний PostgreSQL остаётся доступен для логического копирования, но прикладные писатели остановлены:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env start mongo
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env ps -a
  1. Остановите запись и во внешних интеграциях, которые могут изменять данные напрямую. Не запускайте приложение до завершения копирования.

Сохраните конфигурацию

Архив включает Compose, .env, Nginx, TLS, kcimports, темы, скрипты и конфигурационные bind mounts. Рабочие данные Valkey исключаются.

sudo tar --acls --xattrs --numeric-owner \
  --exclude='./backups' --exclude='./data' --exclude='./pgdata' \
  --exclude='./mongo_data' --exclude='./minio-data' \
  -czpf "$BK/itam_config.tar.gz" -C /opt/itam .
sudo chmod 600 "$BK/itam_config.tar.gz"

Сохраните отдельно конфигурационные файлы вне /opt/itam, включая keytab и krb5.conf. Архив содержит пароли и закрытые ключи.

Сохраните каждую PostgreSQL БД

  1. Получите список БД и глобальные объекты:
psql -d postgres -At -v ON_ERROR_STOP=1 \
  -c "SELECT datname FROM pg_database WHERE NOT datistemplate ORDER BY datname;" \
  | sudo tee "$BK/postgres/databases.txt" >/dev/null
pg_dumpall --globals-only | sudo tee "$BK/postgres/globals.sql" >/dev/null
  1. Создайте отдельный custom-format дамп каждой БД:
while IFS= read -r DB; do
  pg_dump --format=custom --dbname="$DB" \
    | sudo tee "$BK/postgres/${DB}.dump" >/dev/null
done < <(sudo cat "$BK/postgres/databases.txt")

Включите все БД приложения, Keycloak, отчётности и Superset на этом экземпляре, а не только основную БД. Файл globals.sql может содержать хеши паролей.

  1. Сравните число БД и дампов, затем создайте общий архив:
sudo wc -l "$BK/postgres/databases.txt"
sudo find "$BK/postgres" -maxdepth 1 -type f -name '*.dump' -printf '%f\n' | wc -l
sudo tar -czf "$BK/itam_db.tar.gz" -C "$BK" postgres
sudo chmod 600 "$BK/itam_db.tar.gz"

При Patroni используйте согласованную точку подключения на запись и проверьте, что дамп завершился без ошибок. Не копируйте каталог работающего кластера вместо логического дампа.

Сохраните MongoDB

Имя пользователя возьмите из USER_MONGO. Пароль будет запрошен интерактивно; не отключайте TTY в первой команде.

sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec mongo \
  mongodump --archive=/tmp/mongo.archive.gz --gzip \
  --password --username '<MONGO_USER>' --authenticationDatabase admin
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env cp \
  mongo:/tmp/mongo.archive.gz "$BK/mongo.archive.gz"
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec -T mongo \
  rm /tmp/mongo.archive.gz
sudo chmod 600 "$BK/mongo.archive.gz"

После дампа остановите MongoDB:

sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env stop mongo

Сохраните Neo4j 4.4

Команды ниже соответствуют образу neo4j:4.4.13 из комплекта. Для другой основной версии используйте синтаксис neo4j-admin database dump/load её документации.

Контейнер Neo4j остановлен общей командой stop. Выполните neo4j-admin dump одноразовым контейнером с тем же томом и запишите дамп в файл примонтированного каталога:

sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env run \
  --rm -T --no-deps --volume "$BK:/backup" --entrypoint neo4j-admin neo4j \
  dump --database=neo4j --to=/backup/neo4j.dump
sudo chmod 600 "$BK/neo4j.dump"

Не используйте для этого образа --to=- с перенаправлением stdout: такой файл может оказаться пустым или непригодным. Для полного восстановления служебной БД system, пользователей и остальных файлов дополнительно сохраните холодный том Neo4j по следующему разделу.

Сохраните объектное хранилище

Выполните копирование на площадке хранилища после остановки файлового сервиса ITAM.

  • MinIO на отдельном узле: остановите MinIO и заархивируйте все каталоги данных, включая скрытый .minio.sys. Для распределённой установки сохраните согласованный комплект всех дисков и узлов.
  • S3-сервис организации: используйте версионирование, репликацию или штатное резервное копирование провайдера. Сохраните параметры бакета, IAM/KMS и проверьте восстановление отдельных объектов и их метаданных.

Копия списка файлов без служебных метаданных не равнозначна полному восстановлению MinIO. Отдельный диск без копии также не является резервным копированием.

Сохраните постоянные Docker volumes

Все сервисы проекта, включая MongoDB и Neo4j, должны быть остановлены:

sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env ps -a
sudo docker ps

Для каждого постоянного тома из mounts.txt выполните следующие команды, подставив фактическое имя. Сначала volume inspect: при ошибке остановитесь, чтобы не создать пустой том.

VOL='<VOLUME_NAME>'
sudo docker volume inspect "$VOL"
sudo docker run --rm --network none --read-only \
  --mount "type=volume,src=$VOL,dst=/data,readonly" \
  --mount "type=bind,src=$BK/volumes,dst=/backup" \
  "$ARCHIVE_IMAGE" \
  tar --numeric-owner --acls --xattrs -czpf "/backup/$VOL.tar.gz" -C /data .
sudo chmod 600 "$BK/volumes/$VOL.tar.gz"

Включите MongoDB, Neo4j, RabbitMQ и другие постоянные тома, найденные в инвентаризации. Не архивируйте volumes работающих БД и не копируйте вручную /var/lib/docker.

Проверьте копии

  1. Убедитесь, что пустых файлов нет:
sudo find "$BK" -type f -size 0 -print

Команда не должна ничего вывести.

  1. Проверьте gzip и оглавление каждого tar-архива:
sudo gzip -t "$BK/itam_config.tar.gz" "$BK/itam_db.tar.gz" "$BK/mongo.archive.gz"
sudo tar -tzf "$BK/itam_config.tar.gz" >/dev/null
sudo tar -tzf "$BK/itam_db.tar.gz" >/dev/null
sudo find "$BK/volumes" -type f -name '*.tar.gz' -print0 \
  | sudo xargs -0 -r -n1 sh -c 'gzip -t "$0" && tar -tzf "$0" >/dev/null'
  1. Прочитайте оглавление каждого PostgreSQL-дампа:
while IFS= read -r DB; do
  sudo cat "$BK/postgres/${DB}.dump" | pg_restore --list >/dev/null
done < <(sudo cat "$BK/postgres/databases.txt")
  1. Ограничьте доступ ко всем файлам и каталогам комплекта, затем создайте и проверьте контрольные суммы:
sudo find "$BK" -type d -exec chmod 700 {} +
sudo find "$BK" -type f -exec chmod 600 {} +
sudo BK="$BK" bash -c 'cd "$BK" && find . -type f ! -name SHA256SUMS -print0 | sort -z | xargs -0 sha256sum > SHA256SUMS && chmod 600 SHA256SUMS && sha256sum -c SHA256SUMS'

После переноса на второе хранилище повторите sha256sum -c SHA256SUMS из его каталога.

  1. Выполните пробное восстановление в изолированной среде. Проверка архивов и хешей выявляет повреждение файлов, но не доказывает работоспособность данных. Для MongoDB и Neo4j обязательна тестовая загрузка дампов.
  2. Зарегистрируйте дату, состав БД и томов, версии образов, результат проверок и фактическое время восстановления.

Возобновите работу

Если копирование выполнялось перед обновлением, оставьте приложение остановленным. Иначе запустите сервисы и проверьте портал:

sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env up -d
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env ps -a

Восстановите конфигурацию и локальные тома

Восстановление заменяет состояние на дату копии. Сначала выполните его в изолированной среде. Не смешивайте файлы разных дат и сохраните текущее состояние отдельно.

  1. Задайте каталог существующего комплекта и проверьте хеши:
set -euo pipefail
BK='/var/backups/itam/<TIMESTAMP>'
ARCHIVE_IMAGE='<ARCHIVE_IMAGE>'
sudo BK="$BK" bash -c 'cd "$BK" && sha256sum -c SHA256SUMS'

Повторно задайте ARCHIVE_IMAGE в новом сеансе: переменная из сеанса резервного копирования не сохраняется.

  1. Остановите проект и восстановите конфигурацию:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env stop
sudo tar --acls --xattrs --numeric-owner -xzpf "$BK/itam_config.tar.gz" -C /opt/itam
sudo chmod 600 /opt/itam/.env
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env config --quiet
  1. Для каждого тома создайте новый пустой том и распакуйте архив. Не распаковывайте поверх рабочего непустого тома:
VOL='<SOURCE_VOLUME_NAME>'
RESTORE_VOL='<NEW_EMPTY_VOLUME_NAME>'
sudo docker volume create "$RESTORE_VOL"
sudo docker run --rm --network none --read-only \
  --mount "type=volume,src=$RESTORE_VOL,dst=/data" \
  --mount "type=bind,src=$BK/volumes,dst=/backup,readonly" \
  "$ARCHIVE_IMAGE" \
  sh -ec 'test -z "$(ls -A /data)" && tar --numeric-owner --same-owner --acls --xattrs -xzpf "/backup/'"$VOL"'.tar.gz" -C /data'
  1. В docker-compose.yml сопоставьте логические тома с новыми физическими именами, например:
volumes:
  neo4j:
    external: true
    name: <NEW_EMPTY_VOLUME_NAME>

Сохраните пути монтирования внутри контейнеров. Для тестового контура измените внешние адреса и отключите рабочие интеграции.

Восстановите PostgreSQL

Выполняйте на целевом экземпляре после создания ролей и пустых БД. Сверьте владельцев с .env и globals.sql; не запускайте globals.sql вслепую на уже инициализированном экземпляре.

Остановите всех писателей целевой БД. Для каждой БД используйте свой файл:

export PGHOST='<DB_HOST>'
export PGPORT='5432'
export PGUSER='<RESTORE_USER>'
while IFS= read -r DB; do
  sudo cat "$BK/postgres/${DB}.dump" \
    | pg_restore --exit-on-error --clean --if-exists --dbname="$DB"
  psql --dbname="$DB" -v ON_ERROR_STOP=1 -c 'SELECT current_database();'
done < <(sudo cat "$BK/postgres/databases.txt")

--clean удаляет восстанавливаемые объекты целевой БД. Не используйте команду для слияния с рабочими данными. Обязательно восстановите БД Keycloak вместе с прикладными БД.

Восстановите MongoDB

sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env up -d mongo
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env cp \
  "$BK/mongo.archive.gz" mongo:/tmp/mongo.archive.gz
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec mongo \
  mongorestore --archive=/tmp/mongo.archive.gz --gzip --drop \
  --password --username '<MONGO_USER>' --authenticationDatabase admin
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec -T mongo \
  rm /tmp/mongo.archive.gz

--drop заменяет коллекции, представленные в архиве. Проверьте количество документов и доступность коллекций приложению.

Восстановите Neo4j

Остановите Neo4j и используйте образ той же версии. Команда --force заменяет целевую БД:

sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env stop neo4j
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env run \
  --rm -T --no-deps --volume "$BK:/backup:ro" --entrypoint neo4j-admin neo4j \
  load --database=neo4j --from=/backup/neo4j.dump --force

Логическая загрузка основной БД не восстанавливает служебную БД system и пользователей. Для полного отката Neo4j восстановите его холодный том и не загружайте дамп поверх него без отдельной задачи.

Запустите восстановленный комплект

  1. Восстановите объектное хранилище и убедитесь, что бакет и реквизиты доступны файловому сервису.
  2. Запустите инфраструктуру и проверьте журналы:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env up -d mongo neo4j rabbitmq valkey
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env logs --since 5m --tail 100 mongo neo4j rabbitmq
  1. Запустите весь комплект:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env up -d
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec -T nginx nginx -t
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env ps -a

Не выполняйте повторный импорт realm вместо восстановления его БД.

Примите восстановленную систему

  1. Сравните список БД с databases.txt, проверьте владельцев и схемы.
  2. Проверьте внутренний и корпоративный вход, пользователей, группы и роли.
  3. Откройте карточки и графовые связи, сопоставьте контрольные количества.
  4. Скачайте несколько ранее сохранённых файлов и проверьте объектное хранилище.
  5. Проверьте отчёты, WebSocket, Discovery и фоновые сервисы.
  6. В изолированном контуре не включайте рабочие рассылки и интеграции.
  7. Зарегистрируйте время восстановления и результаты приёмки.

Все архивы должны иметь права не шире 600, а каталог комплекта — 700. Не считайте копию пригодной только по факту создания файла: обязательны коды завершения, контрольные суммы и пробное восстановление.

Результат: восстановлены конфигурация и согласованные данные всех хранилищ, работоспособность подтверждена сквозной приёмкой.