Резервное копирование и восстановление системы

#!/bin/bash

set -e

# Объявление директории для размещения файлов резервной копии
DATA_FOLDER=$(cd "$(dirname "${BASH_SOURCE[0]}")"; pwd -P)/standalone_backup_$(date "+%F-%H-%M-%S")
mkdir ${DATA_FOLDER}

function save_postgres_data(){
 # Указание баз данных для копирования
 for db_label in main cache local
 do
   # Создание команды для создания резервной копии базы данных
   DUMP_COMMAND="PGPASSWORD=\$POSTGRES_${db_label^^}_PASSWORD pg_dump -O -x --clean --if-exists -h \$POSTGRES_${db_label^^}_HOST -p \$POSTGRES_${db_label^^}_PORT -d \$POSTGRES_${db_label^^}_NAME -U \$POSTGRES_${db_label^^}_USERNAME"

   echo "Делаем бэкап ${db_label}-базы в ${DATA_FOLDER}/${db_label}db.sql..."
   docker compose -f docker-compose.standalone.yml exec hhive bash -c "${DUMP_COMMAND}" > ${DATA_FOLDER}/${db_label}db.sql

 done
}

function save_minio_data(){
 echo "Делаем бэкап minio-базы..."
 DUMP_COMMAND="mkdir -p /tmp/minio_backup/ && mc mirror --overwrite --remove local /tmp/minio_backup/"
 docker compose -f docker-compose.standalone.yml exec minio bash -c "${DUMP_COMMAND}"

echo "Копируем бэкап minio-базы в ${DATA_FOLDER}/minio_backup"
 docker compose -f docker-compose.standalone.yml cp minio:/tmp/minio_backup ${DATA_FOLDER}/minio_backup

echo "Удаляем бэкап minio-базы из контейнера"
docker compose -f docker-compose.standalone.yml exec minio rm -fR /tmp/minio_backup
}  

save_postgres_data
save_minio_data
echo "Резервное копирование завершено"

#!/bin/bash

set -e

# Объявление директории для размещения файлов резервной копии
DATA_FOLDER=$(cd "$(dirname "${BASH_SOURCE[0]}")"; pwd -P)/cluster_backup_$(date "+%F-%H-%M-%S")
mkdir ${DATA_FOLDER}

# Объявление пространства имён, в котором запущен сервер мобильной платформы
NAMESPACE=fmp

function save_postgres_data(){
 DASHBOARD_POD=$(kubectl -n ${NAMESPACE} get pod -l app=dashboard -o jsonpath="{.items[0].metadata.name}")
 echo "Dashboard контейнер для операций ${DASHBOARD_POD}"

 # Указание баз данных для копирования
 for db_label in main cache local
 do
   DUMP_COMMAND="PGPASSWORD=\$POSTGRES_${db_label^^}_PASSWORD pg_dump -O -x --clean --if-exists -h \$POSTGRES_${db_label^^}_HOST -p \$POSTGRES_${db_label^^}_PORT -d \$POSTGRES_${db_label^^}_NAME -U \$POSTGRES_${db_label^^}_USERNAME"

   echo "Делаем бэкап ${db_label}-базы в ${DATA_FOLDER}/${db_label}db.sql..."
   kubectl -n ${NAMESPACE} exec ${DASHBOARD_POD} -c dashboard -i -- bash -c "${DUMP_COMMAND}" > ${DATA_FOLDER}/${db_label}db.sql
 done
}

function save_minio_data(){
 MINIO_POD=$(kubectl -n ${NAMESPACE} get pod -l app.kubernetes.io/name=minio -o jsonpath="{.items[0].metadata.name}")
 echo "Minio контейнер для операций ${MINIO_POD}"

 echo "Делаем бэкап minio-базы..."
 DUMP_COMMAND="mc alias set local http://localhost:9000 \$MINIO_ROOT_USER \$MINIO_ROOT_PASSWORD && mkdir -p /tmp/minio_backup/ && mc mirror --overwrite --remove local /tmp/minio_backup/"
 kubectl -n ${NAMESPACE} exec $MINIO_POD -- bash -c "${DUMP_COMMAND}"

 echo "Копируем бэкап minio-базы в ${DATA_FOLDER}/minio_backup"
 kubectl cp --retries=-1 ${NAMESPACE}/${MINIO_POD}:/tmp/minio_backup ${DATA_FOLDER}/minio_backup

 echo "Удаляем бэкап minio-базы из пода"
 kubectl -n ${NAMESPACE} exec $MINIO_POD -- rm -fR /tmp/minio_backup
}

save_postgres_data
save_minio_data
echo "Резервное копирование завершено"

#!/bin/bash

set -e

# Объявление директории для размещения файлов резервной копии
DATA_FOLDER=$(cd "$(dirname "${BASH_SOURCE[0]}")" ; pwd -P )

# Объявление пространства имён, в котором запущен сервер мобильной платформы
NAMESPACE=fmp

# Объявление имён подов, через который будут экспортироваться и импортироваться данные
DASHBOARD_POD=$(kubectl -n ${NAMESPACE} get pod -l app=dashboard -o jsonpath="{.items[0].metadata.name}")
echo "Dashboard container for operation ${DASHBOARD_POD}"
STORAGE_POD=$(kubectl -n ${NAMESPACE} get pod -l app=storage -o jsonpath="{.items[0].metadata.name}")
echo "Storage container for operation ${STORAGE_POD}"

function save_postgres_data(){
 # Указание баз данных для копирования
 for db_label in main cache local
 do
   for var in POSTGRES_${db_label^^}_HOST POSTGRES_${db_label^^}_PORT POSTGRES_${db_label^^}_NAME POSTGRES_${db_label^^}_USERNAME POSTGRES_${db_label^^}_PASSWORD
   do
     # Объявление переменных для подключения к базам данных
     echo "export ${var}"
     echo $(kubectl -n ${NAMESPACE} exec $DASHBOARD_POD -- env | grep $var | cut -d "=" -f2)
   done

   # Создание команды для снятия дампа баз данных
   DUMP_COMMAND="PGPASSWORD=\$POSTGRES_${db_label^^}_PASSWORD pg_dump -O -x -h \$POSTGRES_${db_label^^}_HOST -p \$POSTGRES_${db_label^^}_PORT -d \$POSTGRES_${db_label^^}_NAME -U \$POSTGRES_${db_label^^}_USERNAME > /tmp/${db_label}db_dump.sql"
   echo "Снимаем дамп ${db_label}-базы..."
   kubectl -n ${NAMESPACE} exec $DASHBOARD_POD -- bash -c "${DUMP_COMMAND}"

   echo "Дамп ${db_label}-базы снят. Скачиваем этот дамп..."
   kubectl cp ${NAMESPACE}/${DASHBOARD_POD}:/tmp/${db_label}db_dump.sql $DATA_FOLDER/${db_label}db_dump.sql

   echo "Дамп ${db_label}-базы загружен. Чистим временный файл дампа..."
   kubectl -n ${NAMESPACE} exec ${DASHBOARD_POD} -- rm /tmp/${db_label}db_dump.sql

   echo "Временный файл дампа ${db_label}-базы удалён"
 done
}

function save_minio_data(){
   echo "Копируем файлы из локального хранилища в ${DATA_FOLDER}/share/"
   kubectl cp ${NAMESPACE}/${STORAGE_POD}:/share/ ${DATA_FOLDER}/share/

   echo "Копируем медиафайлы в ${DATA_FOLDER}/media/"
   kubectl cp ${NAMESPACE}/${DASHBOARD_POD}:/var/hhive/media/ ${DATA_FOLDER}/media/

   echo "Копируем сертификаты в ${DATA_FOLDER}/media/ssl/"
   kubectl cp ${NAMESPACE}/${DASHBOARD_POD}:/var/hhive/nginx/ssl/ ${DATA_FOLDER}/media/ssl/
}

save_postgres_data
save_minio_data

#!/bin/bash

set -e

# Объявление директории, в которой размещены файлы резервной копии
if [ "$1" ]; then
 DATA_FOLDER=${1%/}
else
 DATA_FOLDER=$(find $(cd "$(dirname "${BASH_SOURCE[0]}")"; pwd -P) -maxdepth 1 -name "standalone_backup_*")
 array=(${DATA_FOLDER}) && n=${#array[@]}
 if [ "$n" -gt 1 ]; then
   echo -e "Укажите конкретный каталог с бэкапом: \n${DATA_FOLDER}" && exit 1
 elif [ "${n}" -lt 1 ]; then
   echo -e "Каталог с бэкапом не найден" && exit 1
 fi
fi

echo $DATA_FOLDER

function restore_postgres_data(){
 # Указание баз данных для восстановления
 for db_label in main cache local
 do
   # Создание команды для восстановления баз данных
   RESTORE_COMMAND="PGPASSWORD=\$POSTGRES_${db_label^^}_PASSWORD psql -h \$POSTGRES_${db_label^^}_HOST -p \$POSTGRES_${db_label^^}_PORT -d \$POSTGRES_${db_label^^}_NAME -U \$POSTGRES_${db_label^^}_USERNAME"

   echo "Загружаем бэкап ${db_label}-базы из ${DATA_FOLDER}/${db_label}db.sql..."
   docker compose -f docker-compose.standalone.yml exec -T hhive bash -c "${RESTORE_COMMAND}" < ${DATA_FOLDER}/${db_label}db.sql
 done
}

function restore_minio_data(){
 echo "Копируем бэкап в контейнер minio-базы из ${DATA_FOLDER}/minio_backup"
 docker compose -f docker-compose.standalone.yml cp ${DATA_FOLDER}/minio_backup/ minio:/tmp/minio_backup/

 echo "Загружаем бэкап в minio-базу..."
 RESTORE_COMMAND="mc mirror --overwrite --remove /tmp/minio_backup/ local"
 docker compose -f docker-compose.standalone.yml exec -u root minio bash -c "${RESTORE_COMMAND}"

echo "Удаляем бэкап minio-базы из контейнера"
docker compose -f docker-compose.standalone.yml exec -u root minio rm -fR /tmp/minio_backup
}

function clear_redis_data(){
 echo "Сбрасываем кэш в редисе..."
 CLEAR_COMMAND="redis-cli --no-auth-warning -a \${REDIS_PASSWORD} -n 0 -c FLUSHDB"
 docker-compose -f docker-compose.standalone.yml exec redis bash -c "${CLEAR_COMMAND}"
}

restore_postgres_data
restore_minio_data
clear_redis_data
echo "Резервное восстановление завершено"

#!/bin/bash

set -e

# Объявление директории, в которой размещены файлы резервной копии
if [ "$1" ]; then
 DATA_FOLDER=${1%/}
else
 DATA_FOLDER=$(find $(cd "$(dirname "${BASH_SOURCE[0]}")"; pwd -P) -maxdepth 1 -name "cluster_backup_*")
 array=(${DATA_FOLDER}) && n=${#array[@]}
 if [ "$n" -gt 1 ]; then
   echo -e "Укажите конкретный каталог с бэкапом: \n${DATA_FOLDER}" && exit 1
 elif [ "${n}" -lt 1 ]; then
   echo -e "Каталог с бэкапом не найден" && exit 1
 fi
fi

# Объявление пространства имён, в котором запущен сервер мобильной платформы
NAMESPACE=fmp

function restore_postgres_data(){
 DASHBOARD_POD=$(kubectl -n ${NAMESPACE} get pod -l app=dashboard -o jsonpath="{.items[0].metadata.name}")
 echo "Dashboard контейнер для операций ${DASHBOARD_POD}"

 # Указание баз данных для восстановления
 for db_label in main cache
 do
   # Создание команды для восстановления баз данных
   RESTORE_COMMAND="PGPASSWORD=\$POSTGRES_${db_label^^}_PASSWORD psql -h \$POSTGRES_${db_label^^}_HOST -p \$POSTGRES_${db_label^^}_PORT -d \$POSTGRES_${db_label^^}_NAME -U \$POSTGRES_${db_label^^}_USERNAME"

   echo "Загружаем бэкап ${db_label}-базы из $DATA_FOLDER/${db_label}db.sql..."
   kubectl -n ${NAMESPACE} exec $DASHBOARD_POD -c dashboard -ti -- bash -c "${RESTORE_COMMAND}" < $DATA_FOLDER/${db_label}db.sql
 done
}

function restore_minio_data(){
 MINIO_POD=$(kubectl -n ${NAMESPACE} get pod -l app.kubernetes.io/name=minio -o jsonpath="{.items[0].metadata.name}")
 echo "Minio контейнер для операций ${MINIO_POD}"

 echo "Копируем бэкап в под minio-базы из ${DATA_FOLDER}/minio_backup"
 kubectl cp --retries=-1 ${DATA_FOLDER}/minio_backup ${NAMESPACE}/${MINIO_POD}:/tmp/minio_backup

 echo "Загружаем бэкап в minio-базу..."
 RESTORE_COMMAND="mc alias set local http://localhost:9000 \$MINIO_ROOT_USER \$MINIO_ROOT_PASSWORD && mc mirror --overwrite --remove /tmp/minio_backup/ local"
 kubectl -n ${NAMESPACE} exec $MINIO_POD -- bash -c "${RESTORE_COMMAND}"

 echo "Удаляем бэкап minio-базы из пода"
 kubectl -n ${NAMESPACE} exec $MINIO_POD -- rm -fR /tmp/minio_backup
}

function clear_redis_data(){
 REDIS_POD=$(kubectl -n ${NAMESPACE} get pod -l app.kubernetes.io/name=redis -o jsonpath="{.items[0].metadata.name}")
 echo "Redis контейнер для операций ${REDIS_POD}"

 GET_MASTER_COMMAND="redis-cli --no-auth-warning -a \${REDIS_PASSWORD} -p \${REDIS_SENTINEL_PORT} -c SENTINEL get-master-addr-by-name mymaster"
 MASTER_HOST_PORT=$(kubectl -n ${NAMESPACE} exec ${REDIS_POD} -c sentinel -ti -- bash -c "${GET_MASTER_COMMAND}" | cut -d\" -f2)
 REDIS_MASTER_HOST=$(echo ${MASTER_HOST_PORT} | cut -d' ' -f1)
 REDIS_MASTER_PORT=$(echo ${MASTER_HOST_PORT} | cut -d' ' -f2)

 echo "Сбрасываем кэш в редисе..."
 CLEAR_COMMAND="redis-cli --no-auth-warning -a \${REDIS_PASSWORD} -h
${REDIS_MASTER_HOST} -p ${REDIS_MASTER_PORT} -n 0 -c FLUSHDB"
 kubectl -n ${NAMESPACE} exec ${REDIS_POD} -c redis -ti -- bash -c "${CLEAR_COMMAND}"
}

restore_postgres_data
restore_minio_data
clear_redis_data
echo "Резервное восстановление завершено"

#!/bin/bash

set -e

# Объявление директории, в которой размещены файлы резервной копии
DATA_FOLDER=$(cd "$(dirname "${BASH_SOURCE[0]}")" ; pwd -P )

# Объявление пространства имён, в котором запущен сервер мобильной платформы
NAMESPACE=fmp

# Объявление имён подов, через который будут экспортироваться и импортироваться данные
DASHBOARD_POD=$(kubectl -n ${NAMESPACE} get pod -l app=dashboard -o jsonpath="{.items[0].metadata.name}")
echo "Dashboard container for operation ${DASHBOARD_POD}"
STORAGE_POD=$(kubectl -n ${NAMESPACE} get pod -l app=storage -o jsonpath="{.items[0].metadata.name}")
echo "Storage container for operation ${STORAGE_POD}"

function restore_postgres_data(){
 # Указание баз данных для восстановления
 for db_label in main cache
 do
   for var in POSTGRES_${db_label^^}_HOST POSTGRES_${db_label^^}_PORT POSTGRES_${db_label^^}_NAME POSTGRES_${db_label^^}_USERNAME
POSTGRES_${db_label^^}_PASSWORD
   do
     # Объявление переменных для подключения к базам данных
     echo "export ${var}"
     echo $(kubectl -n ${NAMESPACE} exec $DASHBOARD_POD -- env | grep $var | cut -d "=" -f2)
   done

   # Создание команды для восстановления баз данных
   RESTORE_COMMAND="PGPASSWORD=\$POSTGRES_${db_label^^}_PASSWORD psql -h \$POSTGRES_${db_label^^}_HOST -p \$POSTGRES_${db_label^^}_PORT -d \$POSTGRES_${db_label^^}_NAME -U \$POSTGRES_${db_label^^}_USERNAME -f /tmp/${db_label}db_dump.sql > /dev/null"

   echo "Закачиваем дамп $DATA_FOLDER/${db_label}db_dump.sql в pod ${DASHBOARD_POD}..."
   kubectl cp $DATA_FOLDER/${db_label}db_dump.sql ${NAMESPACE}/${DASHBOARD_POD}:/tmp/${db_label}db_dump.sql

   echo "Загружаем дамп ${db_label}-базы в postgres..."
   kubectl -n ${NAMESPACE} exec $DASHBOARD_POD -- bash -c "${RESTORE_COMMAND}"

   echo "Дамп ${db_label}-базы загружен. Чистим временный файл дампа..."
   kubectl -n ${NAMESPACE} exec ${DASHBOARD_POD} -- rm /tmp/${db_label}db_dump.sql

   echo "Временный файл дампа ${db_label}-базы удалён"
 done
}

function restore_minio_data(){
   echo "Копируем файлы из локального хранилища в ${DATA_FOLDER}/share/"
   kubectl cp ${DATA_FOLDER}/share/ ${NAMESPACE}/${STORAGE_POD}:/share/
   echo "Копируем медиафайлы в ${DATA_FOLDER}/media/"
   kubectl cp ${DATA_FOLDER}/media/ ${NAMESPACE}/${DASHBOARD_POD}:/var/hhive/media/
   echo "Копируем сертификаты в ${DATA_FOLDER}/media/ssl/"
   kubectl cp ${DATA_FOLDER}/media/ssl/ ${NAMESPACE}/${DASHBOARD_POD}:/var/hhive/nginx/ssl/
}

restore_postgres_data
restore_minio_data