В Prognoz Platform 8 для импорта/экспорта данных предназначен объект репозитория «Задача ETL».
ETL (от английского Extract, Transform, Load - дословно «извлечение, преобразование, загрузка») - один из основных процессов в управлении хранилищами данных. ETL включает в себя:
извлечение данных из внешних источников (Extract);
преобразование и очистку данных для приведения их к требуемому качеству (Transform);
загрузку данных в хранилище данных (Load).
Возможности задачи ETL в Prognoz Platform 8:
визуальное построение схемы трансформации данных на едином рабочем поле;
протоколирование выполнения задачи ETL;
настройка очередности выполнения задач ETL;
извлечение данных из двумерных, реляционных и многомерных источников данных;
извлечение/загрузка данных из внешних источников: OLE DB; баз данных Microsoft Access, Visual FoxPro, DBase; файлов Microsoft Excel, XML, HTML, TXT, CSV, JSON;
извлечение/загрузка данных из объектов репозитория: таблиц, присоединенных таблиц, представлений, запросов, источников данных ODBC, журналов;
извлечение данных из REST-источников, доступ к которым осуществляется через Internet;
преобразование данных: слияние, разделение, удаление дубликатов, группировка, фильтрация, сортировка.
Принцип работы задачи ETL заключается в извлечении данных из источников, преобразовании этих данных и выгрузке результатов в приёмники данных.
Общая схема работы задачи ETL:
Данные из источников поступают на вход задачи ETL. Количество объектов-источников не ограничено.
С выходов источников данные поступают на входы объектов-преобразователей.
После преобразования данные с выходов объектов-преобразователей поступают на входы приёмников данных.
С выходов приёмников данные выгружаются во внешние или внутренние форматы.
См. также: