Некорректное ведение журнала с системными логами характеризуется отсутствием последних записей о событиях в подразделе «Системные логи» и может быть связан с внутренним сбоем Redis или Celery.
Для восстановления ведения журнала с системными логами:
Перезапустите компоненты мобильной платформы:
при использовании одиночной конфигурации продукта «Форсайт. Мобильная платформа» перезапустите контейнеры fmp_celeryworker_1, fmp_redis_1;
при использовании кластерной конфигурации продукта «Форсайт. Мобильная платформа» перезапустите поды fmp-celeryworker, fmp-redis.
Проверьте объём выделенных системных ресурсов дискового пространства для Elasticsearch:
при использовании одиночной конфигурации продукта проверьте объём выделенных системных ресурсов дискового пространства для контейнера fmp_elasticsearch_1. Контейнер fmp_elasticsearch_1 является частью системы логирования событий на сервере мобильной платформы;
при использовании кластерной конфигурации продукта проверьте объём выделенных системных ресурсов дискового пространства для пода fmp-elasticsearch-data.
Например, для кластера, развёрнутого на основе OKD/OCP, откройте подраздел «Storage > Persistent Volume Claims» в приложении OKD:
В столбце «Capacity» содержится объём выделенных системных ресурсов, в столбце «Used» - объём используемых системных ресурсов.
Добавьте объём потребления системных ресурсов на сервере мобильной платформы или в кластере при необходимости.
Для добавления объёма потребления системных ресурсов контейнера fmp_elasticsearch_1 на сервере мобильной платформы используйте средства операционной системы или виртуализации. Также проверьте работоспособность контейнера fmp_elasticsearch_1. Для этого перезапустите контейнеры Docker:
% docker-compose -f docker-compose.standalone.yml up
Если после выполнения команды выводится сообщение «elastic is down», то контейнер fmp_elasticsearch_1 не запустился. Для запуска контейнера fmp_elasticsearch_1 и восстановления ведения журнала с системными логами очистите том контейнера.
Важно. В процессе очистки тома контейнера fmp_elasticsearch_1 сервер мобильной платформы будет недоступен. Рекомендуется очищать том контейнера при минимальной нагрузке на систему. После очистки тома будут удалены все записи о событиях в подразделе «Системные логи».
Для добавления объёма потребления системных ресурсов в кластере обратитесь к подразделу «Добавление объёма потребления системных ресурсов в кластере».
После выполнения действий будет восстановлено ведение журнала с системными логами.
Для очистки тома контейнера fmp_elasticsearch_1 на сервере мобильной платформы:
Удалите запущенные контейнеры Docker с сохранением данных:
% docker-compose -f docker-compose.standalone.yml down
Удалите том fmp_es_data:
% docker volume rm fmp_es_data
Запустите контейнеры заново:
% docker-compose -f docker-compose.standalone.yml up -d
После выполнения действий будет очищен том контейнера fmp_elasticsearch_1.
Для добавления объёма потребления системных ресурсов PV пода fmp-elasticsearch-data в кластере OKD/OCP:
Важно. Выберите время с минимальной пользовательской нагрузкой на кластер, так как в процессе добавления объёма потребления системных ресурсов блокируется выполнение фоновых задач. Также при необходимости экспортируйте журнал с логами в файл. После выполнения действий с подом системные логи будут удалены.
Уменьшите минимальное количество реплик в Horizontal Pod Autoscalers (HPA) для пода fmp-celeryworker-hpa. Для этого откройте на редактирование конфигурацию HPA и задайте параметру minReplicas значение «0»:
kubectl edit hpa fmp-celeryworker-hpa -n fmp
Примечание. Актуально при использовании «Форсайт. Мобильная платформа» версии 23.12 и выше.
Остановите запись логов в Elasticsearch. Для этого уменьшите количество подов fmp-celeryworker до 0.
Уменьшите количество подов fmp-elasticsearch-data до 0.
Определите, какие PV используются подами fmp-elasticsearch-data и удалите для них Persistent Volume Claim (PVC).
Добавьте объём освобождённых PV до 30G.
Пропишите storageClass с именем es-data для увеличенных PV.
Пропишите storageClass с именем es-data для подов fmp-elasticsearch-data:
измените yaml-файл с помощью приложения OKD (для применения изменений в текущем релизе) в соответствии со структурой:
spec:
volumeClaimTemplates:
spec:
storageClassName: es-data
измените файл values.production.yaml (для применения изменений в следующих обновлениях/переустановках релиза) в соответствии со структурой:
elasticsearch:
data:
persistence:
storageClass: es-data
Добавьте количество подов fmp-elasticsearch-data до 3 и убедитесь, что все поды запускаются и успешно создают новые PVC на основе обновлённых PV.
Подготовьте Elasticsearch. Для этого перейдите в терминал одного из подов fmp-dashboard и запустите скрипт init.sh из любого места.
Возобновите запись логов в Elasticsearch. Для этого верните количество подов fmp-celeryworker до 1.
Верните минимальное количество реплик в HPA для пода fmp-celeryworker-hpa аналогично шагу «a». Для этого откройте на редактирование конфигурацию HPA и задайте параметру minReplicas значение «1».
Примечание. Актуально при использовании «Форсайт. Мобильная платформа» версии 23.12 и выше.
После выполнения действий будет добавлен объём потребления системных ресурсов PV пода fmp-elasticsearch-data в кластере OKD/OCP.
См. также: