Интеграция с Postgres Pro AXE и Tantor

Для построения высокопроизводительных аналитических систем и работы с большими объемами данных может использоваться комплексное решение, включающее:

• программный продукт «Форсайт. Аналитическая платформа»;

• компоненты программного продукта «Форсайт. Платформа данных» в связке с высокопроизводительными СУБД:

• Postgres Pro AXE;

• Tantor.

Конкретный вариант СУБД определяется требованиями проекта.

Решение предназначено для построения многоуровневых хранилищ, в которых данные из различных источников могут храниться, обрабатываться и предоставляться аналитическим приложениям в рамках единой архитектуры. В архитектуре решения компоненты продукта «Форсайт. Платформа данных» предназначены для построения высокопроизводительного уровня хранения и обработки данных на основе выбранных СУБД, а «Форсайт. Аналитическая платформа» предоставляет средства бизнес-аналитики, моделирования, визуализации и построения прикладных аналитических решений.

Совместное использование позволяет объединить средства хранения, обработки и анализа данных в единую масштабируемую высокопроизводительную архитектуру.

Преимущества решения

Гибкость и масштабируемость

Совместное решение позволяет:

• строить хранилища данных различного типа и уровня сложности;

• создавать высокопроизводительные предметно-ориентированные витрины;

• создавать пользовательские витрины данных;

• расширять вычислительные ресурсы по мере роста объемов информации и аналитической нагрузки;

• выбирать архитектуру хранения с учетом особенностей конкретного проекта.

Работа с данными

Решение поддерживает:

• сбор и подготовку данных с использованием адаптированных или сквозных ELT-процессов;

• работу с операционными и аналитическими данными;

• построение единой модели предоставления данных аналитическим приложениям;

• управление техническим качеством данных;

• использование PostgreSQL-совместимых механизмов доступа к данным.

Производительность

В зависимости от используемой СУБД и конфигурации решения могут применяться технологии, предназначенные для ускорения аналитической обработки, в том числе:

• колоночное хранение и обработка данных;

• обработка данных в оперативной памяти;

• параллельное выполнение аналитических запросов;

• сжатие данных;

• распределение данных с учетом характера их использования.

Использование интеграционного решения позволяет снизить время выполнения аналитических запросов и формирования отчетности при работе с большими объемами данных.

Мультитемпературная обработка данных

В решении могут использоваться различные способы хранения и обработки данных в зависимости от частоты обращения к ним и требований к производительности.

Это позволяет разместить часто используемые и исторические данные наиболее подходящим способом, сохраняя единый механизм доступа к ним со стороны аналитических приложений.

Управление инфраструктурой

Комплексное решение позволяет унифицировать эксплуатацию компонентов решения:

• меньше систем – меньше лицензий, меньше железа, меньше ресурсов на поддержку;

• аналитика работает на той же инфраструктуре, что и текущая СУБД;

• сжатие всех типов информации на уровне платформы данных.

Вариант на базе Postgres Pro AXE

Одним из вариантов решения является совместное использование с Postgres Pro Enterprise и Postgres Pro AXE. Использование Postgres Pro Enterprise и Postgres Pro AXE позволяет разделять операционные и аналитические нагрузки либо объединять их в рамках общей архитектуры в зависимости от требований проекта. Postgres Pro AXE выполняет функции высокопроизводительной СУБД для хранения и обработки данных, а компоненты платформы данных обеспечивают ее использование в составе комплексного решения с «Форсайт. Аналитическая платформа».

Совместимость Postgres Pro AXE с «Форсайт. Аналитическая платформа» подтверждена комплексным нагрузочным тестированием.

Использование данного варианта позволяет строить аналитические решения для работы с большими объемами информации и высокой пользовательской нагрузкой.

Postgres Pro Enterprise

Postgres Pro Enterprise — система управления базами данных корпоративного уровня на основе PostgreSQL.

СУБД предназначена для информационных систем с повышенными требованиями к надежности, безопасности и производительности и может использоваться для хранения операционных и других корпоративных данных:

• подробная информация: https://postgrespro.ru/products/postgrespro/enterprise;

• документация: https://postgrespro.ru/docs/enterprise/18/index;

• установка и администрирование: https://postgrespro.ru/docs/enterprise/18/admin;

Postgres Pro AXE

Postgres Pro AXE — аналитическая СУБД на основе PostgreSQL, предназначенная для обработки больших объемов данных и выполнения аналитических запросов.

Postgres Pro AXE может использоваться при построении корпоративных хранилищ данных и аналитических витрин и рассчитана на работу с данными объемом от терабайтов до петабайтов.

В составе решения с «Форсайт. Аналитическая платформа» Postgres Pro AXE может выступать в качестве высокопроизводительного аналитического хранилища, к которому обращаются приложения и аналитические инструменты платформы:

• подробная информация: https://postgrespro.ru/products/axe;

• документация: https://postgrespro.ru/docs/axe/1/index;

• развертывание: https://postgrespro.ru/docs/axe/1/postgres-pro-axe-deploying.

Вариант на базе Tantor

Другим или дополняющим вариантом решения является совместное использование с СУБД Tantor.

Tantor — объектно-реляционная система управления базами данных корпоративного уровня на основе PostgreSQL. СУБД предназначена для высоконагруженных корпоративных информационных систем и может использоваться как для транзакционных задач, так и для построения корпоративных хранилищ данных:

• подробная информация: https://tantorlabs.ru/products/dbms;

• документация: https://docs.tantorlabs.ru/tdb/ru/18_3/se/preface.html;

• установка и администрирование: https://docs.tantorlabs.ru/tdb/ru/18_3/se/admin.html.

В решении Tantor используется как технологическая основа хранения и обработки данных, а компоненты платформы данных обеспечивают его применение совместно с «Форсайт. Аналитическая платформа».

Для варианта на базе Tantor могут использоваться средства централизованного администрирования и мониторинга кластеров PostgreSQL.