Интерфейсы инструмента в веб-приложении и настольном приложении отличаются и не имеют обратной совместимости. Задачи ETL, созданные в веб-приложении, могут некорректно отображаться в настольном приложении и наоборот.
В этой статье:
Преобразователь «Соединение» - объект, предназначенный для слияния данных, при этом перед слиянием данных выполняется проверка заданных условий. С помощью этого преобразователя можно получить в результирующем наборе только те записи, для которых значения в одном из полей связи совпадают, либо все записи одного источника, дополненные значениями из других, если значения этих записей совпадают по ключевым полям.
Каждый объект имеет несколько входов и один выход. У всех источников должны быть определены уникальные индексы, количество и типы полей. Указанные атрибуты должны быть идентичны для всех источников. Дублирование записей не допускается (в этом случае необходимо провести предварительно операцию удаления дубликатов).
Для эффективной работы данного алгоритма должны быть выполнены условия:
отсутствие дубликатов по уникальному индексу во всех источниках данных;
все источники должны быть упорядочены по уникальному индексу. Порядок полей в уникальном индексе должен совпадать для всех источников.
При использовании преобразователя «Соединение» с типом «Внешнее соединение» из таблиц:
Key | Date | Value |
1 | Summer | 2222 |
2 | Winter | 4444 |
3 | Spring | 5555 |
и:
Key | Date | Value2 |
1 | Summer | 1111 |
2 | Winter | 3333 |
можно получить таблицу:
Key | Date | Value | Value2 |
1 | Summer | 2222 | 1111 |
2 | Winter | 4444 | 3333 |
3 | Spring | 5555 |
На странице определяется тип соединения.
Доступен выбор следующих типов соединения:
Внутреннее соединение. В объект-приёмник заносятся только те записи из объектов-источников, у которых совпадают значения индексируемых полей;
Внешнее соединение. В объект-приёмник заносятся все записи из источника, указанного в поле «Основной вход», а данные из остальных источников будут их дополнять. Связь объектов источников осуществляется по заданному индексу.
На странице «Редактирование выхода» задаётся связь с объектом-приёмником, в который будут выгружаться данные при выполнении задачи ETL.
Примечание. Страница является общей для всех коннекторов и преобразователей данных, кроме преобразователей «Разделение» и «Алгоритм пользователя». Рассмотрим настройку списка полей и связи выхода на примере мастера редактирования источника данных «Репозиторий».
На странице доступны следующие настройки:
На странице «Редактирование выхода с ошибочными записями» задаётся связь с объектом-приёмником, в который будет экспортироваться информация об ошибочных записях, которые не были обработаны преобразователем.
Примечание. Страница является общей для всех преобразователей данных, кроме преобразователей «Объединение» и «Алгоритм пользователя». Рассмотрим настройку списка полей и связи выхода на примере мастера редактирования преобразователя данных «Разделение».
На странице доступны следующие настройки:
На странице «Индекс» определите индексируемые поля каждого входа. По значениям индексируемых полей происходит сопоставление данных в источниках.
Для выбора индексируемого поля:
перетащите выбранное поле из списка «Исходные поля» на соответствующий вход в списке «Выбранные поля»;
в списке «Исходные поля» выберите поле, а в списке «Выбранные поля» - вход. Нажмите кнопку «Добавить».
При переходе на следующую страницу будет предложено заполнить список полей из связанного выхода.
На странице «Связь полей» установите соответствие между полями входов и выхода.
Действия со связями полей:
Автоматическое создание связей полей. Позволяет автоматически создать связи между всеми входными полями и выходными полями, имеющими одинаковые идентификаторы. Для автоматического создания связей нажмите кнопку «Автоматически»;
Создание связи полей. Позволяет создать связь между входным и выходным полями, имеющими различные идентификаторы. Для создания связи перетащите необходимое поле из области «Исходные поля» в область «Связь полей входа и выхода», используя механизм Drag&Drop.
Редактирование связи полей. Позволяет редактировать формулу преобразования выходного значения с помощью редактора. Для редактирования связи в области «Связь полей входа и выхода»:
выберите необходимую связь и нажмите кнопку «Редактировать»;
дважды щелкните кнопкой мыши по необходимой связи;
Удаление связей. Для удаления связи между входным и выходным полями нажмите кнопку «Очистить».
См. также:
Начало работы с инструментом «Задача ETL» в веб-приложении | Преобразователи данных