3.06.04 Резервное копирование и восстановление данных
Состав резервной копии
Сохраняйте единый комплект одной даты:
- конфигурацию сервера приложений, TLS и Kerberos;
- отдельный дамп каждой базы внешнего PostgreSQL, включая Keycloak;
- дамп MongoDB и дамп основной БД Neo4j;
- холодные копии постоянных томов MongoDB, Neo4j и RabbitMQ;
- данные и служебные метаданные внешнего объектного хранилища;
- конфигурацию и данные Superset, если аналитика используется;
- инвентаризацию образов, сервисов и mounts.
База Keycloak входит в PostgreSQL: экспорт realm и файлы kcimports не заменяют её дамп. В Compose-комплекте нет сервисов postgres и minio, поэтому PostgreSQL копируется по сети, а объектное хранилище — на его площадке.
Kafka используется как временная очередь без постоянного тома. Её writable layer не входит в резервную копию. Перед остановкой дождитесь обработки накопленных сообщений либо зафиксируйте допустимость повторного формирования задач Discovery. Valkey содержит восстанавливаемый кэш; его каталог /opt/itam/data не требуется для полного восстановления, если в вашей конфигурации не включено иное хранение состояния.
Регламент
Минимальный начальный регламент:
| Вид копии | Периодичность | Срок хранения |
|---|---|---|
| Конфигурация и логические дампы | Ежедневно и перед каждым изменением | 14 дней |
| Холодные копии томов и объектного хранилища | Еженедельно и перед обновлением | 30 дней |
| Копия ВМ сервера приложений | Еженедельно и перед обновлением | 30 дней |
Скорректируйте периодичность по утверждённым RPO/RTO. Храните хотя бы одну копию вне защищаемого узла, шифруйте архивы с персональными данными и секретами, ограничивайте доступ ответственными администраторами. Не удаляйте полную копию, от которой зависят инкременты. Снимок на том же хранилище не считается самостоятельной резервной копией.
Перед восстановлением ВМ из копии изолируйте её сеть: не допускайте совпадения IP, рабочих рассылок и обращений к продуктивным интеграциям.
Подготовьте копирование
Команды рассчитаны на Bash. На сервере приложений нужны Docker Compose и образ с GNU tar, gzip и sh. На машине, с которой выполняются PostgreSQL-дампы, нужны psql, pg_dump, pg_dumpall и pg_restore той же основной версии, что и сервер, либо совместимой более новой основной версии.
Для подключения к PostgreSQL настройте учётную запись с правами чтения всех копируемых БД и глобальных объектов. Используйте файл ~/.pgpass с правами 600 или интерактивный ввод пароля; не передавайте пароль аргументом командной строки.
- Задайте параметры комплекта:
set -euo pipefail
TS="$(date +%Y-%m-%d_%H%M%S)"
BK="/var/backups/itam/$TS"
export PGHOST='<DB_HOST>'
export PGPORT='5432'
export PGUSER='<BACKUP_USER>'
ARCHIVE_IMAGE='<ARCHIVE_IMAGE>'
sudo install -d -m 700 "$BK" "$BK/postgres" "$BK/volumes"
df -h "$BK"
В <ARCHIVE_IMAGE> укажите подготовленный образ с GNU tar. В закрытом контуре загрузите его заранее из разрешённого реестра или архива.
- Проверьте конфигурацию и сохраните инвентаризацию:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env config --quiet
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env config --services | sudo tee "$BK/services.txt" >/dev/null
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env config --volumes | sudo tee "$BK/volumes.txt" >/dev/null
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env images | sudo tee "$BK/images.txt" >/dev/null
sudo docker inspect $(sudo docker ps -aq) --format '{{.Name}} {{range .Mounts}}{{.Type}} {{.Name}} {{.Source}} -> {{.Destination}}; {{end}}' | sudo tee "$BK/mounts.txt" >/dev/null
Сопоставьте каждый постоянный mount с архивом. Имена ключей Compose и физические имена Docker volumes могут различаться.
Остановите запись в приложение
- Согласуйте окно недоступности и остановите сервисы проекта:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env stop
- Для дампа MongoDB запустите только её контейнер. Внешний PostgreSQL остаётся доступен для логического копирования, но прикладные писатели остановлены:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env start mongo
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env ps -a
- Остановите запись и во внешних интеграциях, которые могут изменять данные напрямую. Не запускайте приложение до завершения копирования.
Сохраните конфигурацию
Архив включает Compose, .env, Nginx, TLS, kcimports, темы, скрипты и конфигурационные bind mounts. Рабочие данные Valkey исключаются.
sudo tar --acls --xattrs --numeric-owner \
--exclude='./backups' --exclude='./data' --exclude='./pgdata' \
--exclude='./mongo_data' --exclude='./minio-data' \
-czpf "$BK/itam_config.tar.gz" -C /opt/itam .
sudo chmod 600 "$BK/itam_config.tar.gz"
Сохраните отдельно конфигурационные файлы вне /opt/itam, включая keytab и krb5.conf. Архив содержит пароли и закрытые ключи.
Сохраните каждую PostgreSQL БД
- Получите список БД и глобальные объекты:
psql -d postgres -At -v ON_ERROR_STOP=1 \
-c "SELECT datname FROM pg_database WHERE NOT datistemplate ORDER BY datname;" \
| sudo tee "$BK/postgres/databases.txt" >/dev/null
pg_dumpall --globals-only | sudo tee "$BK/postgres/globals.sql" >/dev/null
- Создайте отдельный custom-format дамп каждой БД:
while IFS= read -r DB; do
pg_dump --format=custom --dbname="$DB" \
| sudo tee "$BK/postgres/${DB}.dump" >/dev/null
done < <(sudo cat "$BK/postgres/databases.txt")
Включите все БД приложения, Keycloak, отчётности и Superset на этом экземпляре, а не только основную БД. Файл globals.sql может содержать хеши паролей.
- Сравните число БД и дампов, затем создайте общий архив:
sudo wc -l "$BK/postgres/databases.txt"
sudo find "$BK/postgres" -maxdepth 1 -type f -name '*.dump' -printf '%f\n' | wc -l
sudo tar -czf "$BK/itam_db.tar.gz" -C "$BK" postgres
sudo chmod 600 "$BK/itam_db.tar.gz"
При Patroni используйте согласованную точку подключения на запись и проверьте, что дамп завершился без ошибок. Не копируйте каталог работающего кластера вместо логического дампа.
Сохраните MongoDB
Имя пользователя возьмите из USER_MONGO. Пароль будет запрошен интерактивно; не отключайте TTY в первой команде.
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec mongo \
mongodump --archive=/tmp/mongo.archive.gz --gzip \
--password --username '<MONGO_USER>' --authenticationDatabase admin
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env cp \
mongo:/tmp/mongo.archive.gz "$BK/mongo.archive.gz"
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec -T mongo \
rm /tmp/mongo.archive.gz
sudo chmod 600 "$BK/mongo.archive.gz"
После дампа остановите MongoDB:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env stop mongo
Сохраните Neo4j 4.4
Команды ниже соответствуют образу neo4j:4.4.13 из комплекта. Для другой основной версии используйте синтаксис neo4j-admin database dump/load её документации.
Контейнер Neo4j остановлен общей командой stop. Выполните neo4j-admin dump одноразовым контейнером с тем же томом и запишите дамп в файл примонтированного каталога:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env run \
--rm -T --no-deps --volume "$BK:/backup" --entrypoint neo4j-admin neo4j \
dump --database=neo4j --to=/backup/neo4j.dump
sudo chmod 600 "$BK/neo4j.dump"
Не используйте для этого образа --to=- с перенаправлением stdout: такой файл может оказаться пустым или непригодным. Для полного восстановления служебной БД system, пользователей и остальных файлов дополнительно сохраните холодный том Neo4j по следующему разделу.
Сохраните объектное хранилище
Выполните копирование на площадке хранилища после остановки файлового сервиса ITAM.
- MinIO на отдельном узле: остановите MinIO и заархивируйте все каталоги данных, включая скрытый
.minio.sys. Для распределённой установки сохраните согласованный комплект всех дисков и узлов. - S3-сервис организации: используйте версионирование, репликацию или штатное резервное копирование провайдера. Сохраните параметры бакета, IAM/KMS и проверьте восстановление отдельных объектов и их метаданных.
Копия списка файлов без служебных метаданных не равнозначна полному восстановлению MinIO. Отдельный диск без копии также не является резервным копированием.
Сохраните постоянные Docker volumes
Все сервисы проекта, включая MongoDB и Neo4j, должны быть остановлены:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env ps -a
sudo docker ps
Для каждого постоянного тома из mounts.txt выполните следующие команды, подставив фактическое имя. Сначала volume inspect: при ошибке остановитесь, чтобы не создать пустой том.
VOL='<VOLUME_NAME>'
sudo docker volume inspect "$VOL"
sudo docker run --rm --network none --read-only \
--mount "type=volume,src=$VOL,dst=/data,readonly" \
--mount "type=bind,src=$BK/volumes,dst=/backup" \
"$ARCHIVE_IMAGE" \
tar --numeric-owner --acls --xattrs -czpf "/backup/$VOL.tar.gz" -C /data .
sudo chmod 600 "$BK/volumes/$VOL.tar.gz"
Включите MongoDB, Neo4j, RabbitMQ и другие постоянные тома, найденные в инвентаризации. Не архивируйте volumes работающих БД и не копируйте вручную /var/lib/docker.
Проверьте копии
- Убедитесь, что пустых файлов нет:
sudo find "$BK" -type f -size 0 -print
Команда не должна ничего вывести.
- Проверьте gzip и оглавление каждого tar-архива:
sudo gzip -t "$BK/itam_config.tar.gz" "$BK/itam_db.tar.gz" "$BK/mongo.archive.gz"
sudo tar -tzf "$BK/itam_config.tar.gz" >/dev/null
sudo tar -tzf "$BK/itam_db.tar.gz" >/dev/null
sudo find "$BK/volumes" -type f -name '*.tar.gz' -print0 \
| sudo xargs -0 -r -n1 sh -c 'gzip -t "$0" && tar -tzf "$0" >/dev/null'
- Прочитайте оглавление каждого PostgreSQL-дампа:
while IFS= read -r DB; do
sudo cat "$BK/postgres/${DB}.dump" | pg_restore --list >/dev/null
done < <(sudo cat "$BK/postgres/databases.txt")
- Ограничьте доступ ко всем файлам и каталогам комплекта, затем создайте и проверьте контрольные суммы:
sudo find "$BK" -type d -exec chmod 700 {} +
sudo find "$BK" -type f -exec chmod 600 {} +
sudo BK="$BK" bash -c 'cd "$BK" && find . -type f ! -name SHA256SUMS -print0 | sort -z | xargs -0 sha256sum > SHA256SUMS && chmod 600 SHA256SUMS && sha256sum -c SHA256SUMS'
После переноса на второе хранилище повторите sha256sum -c SHA256SUMS из его каталога.
- Выполните пробное восстановление в изолированной среде. Проверка архивов и хешей выявляет повреждение файлов, но не доказывает работоспособность данных. Для MongoDB и Neo4j обязательна тестовая загрузка дампов.
- Зарегистрируйте дату, состав БД и томов, версии образов, результат проверок и фактическое время восстановления.
Возобновите работу
Если копирование выполнялось перед обновлением, оставьте приложение остановленным. Иначе запустите сервисы и проверьте портал:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env up -d
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env ps -a
Восстановите конфигурацию и локальные тома
Восстановление заменяет состояние на дату копии. Сначала выполните его в изолированной среде. Не смешивайте файлы разных дат и сохраните текущее состояние отдельно.
- Задайте каталог существующего комплекта и проверьте хеши:
set -euo pipefail
BK='/var/backups/itam/<TIMESTAMP>'
ARCHIVE_IMAGE='<ARCHIVE_IMAGE>'
sudo BK="$BK" bash -c 'cd "$BK" && sha256sum -c SHA256SUMS'
Повторно задайте ARCHIVE_IMAGE в новом сеансе: переменная из сеанса резервного копирования не сохраняется.
- Остановите проект и восстановите конфигурацию:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env stop
sudo tar --acls --xattrs --numeric-owner -xzpf "$BK/itam_config.tar.gz" -C /opt/itam
sudo chmod 600 /opt/itam/.env
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env config --quiet
- Для каждого тома создайте новый пустой том и распакуйте архив. Не распаковывайте поверх рабочего непустого тома:
VOL='<SOURCE_VOLUME_NAME>'
RESTORE_VOL='<NEW_EMPTY_VOLUME_NAME>'
sudo docker volume create "$RESTORE_VOL"
sudo docker run --rm --network none --read-only \
--mount "type=volume,src=$RESTORE_VOL,dst=/data" \
--mount "type=bind,src=$BK/volumes,dst=/backup,readonly" \
"$ARCHIVE_IMAGE" \
sh -ec 'test -z "$(ls -A /data)" && tar --numeric-owner --same-owner --acls --xattrs -xzpf "/backup/'"$VOL"'.tar.gz" -C /data'
- В
docker-compose.ymlсопоставьте логические тома с новыми физическими именами, например:
volumes:
neo4j:
external: true
name: <NEW_EMPTY_VOLUME_NAME>
Сохраните пути монтирования внутри контейнеров. Для тестового контура измените внешние адреса и отключите рабочие интеграции.
Восстановите PostgreSQL
Выполняйте на целевом экземпляре после создания ролей и пустых БД. Сверьте владельцев с .env и globals.sql; не запускайте globals.sql вслепую на уже инициализированном экземпляре.
Остановите всех писателей целевой БД. Для каждой БД используйте свой файл:
export PGHOST='<DB_HOST>'
export PGPORT='5432'
export PGUSER='<RESTORE_USER>'
while IFS= read -r DB; do
sudo cat "$BK/postgres/${DB}.dump" \
| pg_restore --exit-on-error --clean --if-exists --dbname="$DB"
psql --dbname="$DB" -v ON_ERROR_STOP=1 -c 'SELECT current_database();'
done < <(sudo cat "$BK/postgres/databases.txt")
--clean удаляет восстанавливаемые объекты целевой БД. Не используйте команду для слияния с рабочими данными. Обязательно восстановите БД Keycloak вместе с прикладными БД.
Восстановите MongoDB
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env up -d mongo
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env cp \
"$BK/mongo.archive.gz" mongo:/tmp/mongo.archive.gz
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec mongo \
mongorestore --archive=/tmp/mongo.archive.gz --gzip --drop \
--password --username '<MONGO_USER>' --authenticationDatabase admin
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec -T mongo \
rm /tmp/mongo.archive.gz
--drop заменяет коллекции, представленные в архиве. Проверьте количество документов и доступность коллекций приложению.
Восстановите Neo4j
Остановите Neo4j и используйте образ той же версии. Команда --force заменяет целевую БД:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env stop neo4j
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env run \
--rm -T --no-deps --volume "$BK:/backup:ro" --entrypoint neo4j-admin neo4j \
load --database=neo4j --from=/backup/neo4j.dump --force
Логическая загрузка основной БД не восстанавливает служебную БД system и пользователей. Для полного отката Neo4j восстановите его холодный том и не загружайте дамп поверх него без отдельной задачи.
Запустите восстановленный комплект
- Восстановите объектное хранилище и убедитесь, что бакет и реквизиты доступны файловому сервису.
- Запустите инфраструктуру и проверьте журналы:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env up -d mongo neo4j rabbitmq valkey
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env logs --since 5m --tail 100 mongo neo4j rabbitmq
- Запустите весь комплект:
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env up -d
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env exec -T nginx nginx -t
sudo docker compose -f /opt/itam/docker-compose.yml --env-file /opt/itam/.env ps -a
Не выполняйте повторный импорт realm вместо восстановления его БД.
Примите восстановленную систему
- Сравните список БД с
databases.txt, проверьте владельцев и схемы. - Проверьте внутренний и корпоративный вход, пользователей, группы и роли.
- Откройте карточки и графовые связи, сопоставьте контрольные количества.
- Скачайте несколько ранее сохранённых файлов и проверьте объектное хранилище.
- Проверьте отчёты, WebSocket, Discovery и фоновые сервисы.
- В изолированном контуре не включайте рабочие рассылки и интеграции.
- Зарегистрируйте время восстановления и результаты приёмки.
Все архивы должны иметь права не шире 600, а каталог комплекта — 700. Не считайте копию пригодной только по факту создания файла: обязательны коды завершения, контрольные суммы и пробное восстановление.
Результат: восстановлены конфигурация и согласованные данные всех хранилищ, работоспособность подтверждена сквозной приёмкой.