Хранилище данных - это массив данных организации, структурированный специальным образом, обеспечивающий быстрый доступ к информации, многомерный анализ данных, получение прогнозов и различных статистик в разрезах согласованной нормативно-справочной информации.
Общие принципы организации хранилища данных:
использование реляционных и многомерных данных. Позволяет размещать в хранилище данные из любой предметной области с любой степенью детализации или обобщенности;
использование единой модели метаданных. Позволяет добиться согласованности описаний предметной области, бизнес-правил и логики работы всей системы, в том числе, в распределенном режиме;
применение единой модели администрирования, разграничения доступа и протоколирования для всех объектов системы. Позволяет получить единое, согласованное, управляемое хранилище данных.
Все объекты хранилища данных содержатся в едином репозитории, предназначенном для:
формирования структуры хранилища данных на основе объектов репозитория;
управления структурой хранилища данных;
управления доступом к объектам репозитория;
организации связей между объектами репозитория;
консолидации данных из различных источников.
Для хранения данных, метаданных, системной информации, настроек на внешние источники данных и прочего репозиторий использует реляционную базу данных. Также репозиторий является механизмом, который позволяет пользователю унифицированным образом работать со всеми объектами.
Все операции с объектами в репозитории выполняются с помощью навигатора объектов: создание, редактирование свойств, определение прав доступа, обновление объектов и т.д. Все объекты могут использоваться для различных целей неограниченное число раз, например, один справочник может использоваться для создания многих кубов, экспорта в другой репозиторий, формирования отчётов, копирования и прочего.
Prognoz Platform 8 позволяет следовать данным принципам и организовать хранилище данных любой сложности и архитектуры или настраиваться на уже существующее хранилище.
При создании нового хранилища данных «с нуля» поддерживается подходы «снизу вверх» и «сверху вниз».
Подход «снизу вверх» предполагает сначала создание физических реляционных структур для хранения данных, потом логических многомерных структур для работы с данными. Данные в хранилище можно ввести вручную или использовать инструмент «Задача ETL» или «Мастер импорта» для загрузки данных. Например, сначала создаётся реляционная база данных, затем наборы данных, на основе которых формируются справочники, далее создаются кубы, использующие справочники в качестве измерений. После загрузки данных в кубы можно приступать к формированию отчетов и анализу данных.
Подход «сверху вниз» предполагает сначала определение пользователем логической многомерной модели, потом автоматическую генерацию физических объектов для хранения данных и последующую загрузку данных с помощью инструмента «Мастер импорта». Например, есть данные по структуре экспорта какого-либо региона: товары, поставщики, покупатели. Пользователь решает, что для работы с ними ему нужен куб, содержащий измерения: экспортируемых товаров, продавцов экспортируемых товаров и покупателей экспортируемых товаров. С помощью инструмента «Мастер импорта» пользователь настраивается на источник данных, формирует состав измерений и указывает, что импорт данных нужно выполнить в куб. Далее «Мастер импорта» автоматически создаст все справочник и сформирует куб, в который загрузит указанные данные.
Реляционные объекты - это объекты, использующие реляционную модель данных и являющиеся основой для построения справочников и многомерных источников данных. К реляционным объектам Prognoz Platform 8 относятся: базы данных и наборы данных.
Доступ к внешним реляционным данным поддерживается через:
ODBC;
OLEDB;
нативные драйверы к ряду СУБД;
аппаратно-программный комплекс Netezza;
Sybase IQ - СУБД с поколоночным хранением данных;
многомерные источники: Microsoft Analysis Services, SAP NetWeaver BW и другие, совместимые с OLEDB for OLAP;
XML-файлы;
книги Microsoft Excel;
плоские файлы dbase, Paradox, *.vpf, *.csv, *.txt.
Справочник - это упорядоченный набор уникальных элементов, содержащий краткие и точные сведения, объединённые единой тематикой. Каждый элемент справочника обладает набором атрибутов, по значениям которых можно однозначно определить элемент. Справочники являются базовым звеном в построении хранилища данных, так как на основе справочников создаются измерения в многомерных источниках данных.
Кубы, каталоги ADOMD и базы данных временных рядов - источники данных Prognoz Platform 8, реализующие многомерную модель на основе реляционных данных (подход ROLAP). При использовании многомерной модели данные представляются в виде набора измерений и фактов. Измерения как-либо характеризуют описываемые в модели объекты, классифицируют их. Например, многомерная модель продаж может содержать измерение с перечнем продаваемых продуктов, измерение регионов продаж и так далее. Факты фиксируют количественные, измеряемые величины, например, количество проданных товаров, стоимость проданных товаров.
Prognoz Platform 8 позволяет работать с источником данных в режиме генерации запросов или закэшировать его и работать в режиме in-memory (настройка задается для каждого источника отдельно). Также Prognoz Platform 8 позволяет использовать внешние кубы с помощью запросов MDX (OLEDB for OLAP). При создании отчетов пользователь может использовать одновременно несколько источников, работающих в разных режимах.
Пользователи также могут самостоятельно комбинировать данные из различных источников (разных баз данных, СУБД и файлов) при создании кубов, на уровне аналитических запросов (OLAP) при объединении нескольких кубов по общим измерениям, на уровне отчетов и аналитических панелей путем отображения в разных компонентах данных из разных источников и их связывания при помощи общих параметров. Также инструменты «Анализ временных рядов», «Моделирование и прогнозирование» поддерживают работу с произвольными рядами данных из различных источников.
Для источников данных Microsoft Excel, реляционных таблиц, многомерных кубов сторонних продуктов поддерживается возможность работы без необходимости моделирования этих источников данных в Prognoz Platform 8.
См. также: