Создание преобразователей данных: Веб-приложение

Интерфейсы инструмента в веб-приложении и настольном приложении отличаются и не имеют обратной совместимости. Задачи ETL, созданные в веб-приложении, могут некорректно отображаться в настольном приложении и наоборот.

Создание преобразователей данных

Преобразователь данных предназначен для трансформации данных, поступающих ему на вход, и, в зависимости от типа трансформации, выгружает преобразованные данные в один или несколько объектов-приёмников. Входами для преобразователей могут служить как объекты-источники данных, так и другие объекты-преобразователи. Аналогично, приёмниками данных с выходов преобразователей могут выступать как объекты-приёмники, так и другие объекты-преобразователи. Длина цепочки преобразований не ограничена.

Если в задаче используются преобразователи удаление дубликатов, сортировка, соединение, то будет игнорироваться пакетная обработка данных.

Создание преобразователя данных

Для создания преобразователя данных вызовите контекстное меню на рабочей области задачи ETL и в группе «Преобразователь» выберите требуемый тип преобразователя.

Редактирование базовых свойств преобразователя

В результате выполнения одного из действий будет отображена панель настроек преобразователя:

Примечание. Пример панели настроек приведен для преобразователя «Объединение».

На панели настроек задайте базовые свойства, общие для всех преобразователей:

Для определения параметров работы, а также создания связей с другими объектами, нажмите кнопку «Настройки».

Для сохранения настроек нажмите кнопку «Применить» на панели настроек.

Удаление преобразователя

Для удаления преобразователя выполните команду «Удалить» в контекстном меню объекта. После выполнения действия будет запрошено подтверждение выполняемого действия.

Редактирование входов преобразователей

Для определения и настройки списка входов преобразователя и списка полей:

После выполнения действий будет отображена вкладка «Редактор входов»:

Примечание. Вкладка «Редактор входов» показана на примере преобразователя «Объединение». Вид панели и количество доступных входов зависит от типа преобразователя.

Входы и связи

Возможные операции над входами преобразователя:

Добавление входа можно реализовать двумя способами:

Настройка входа уже созданного преобразователя. Для настройки входа созданного преобразователя выполните следующие действия:

Убедитесь, что на рабочей области расположен как минимум один объект, информация с которого должна поступать на вход преобразователя.
Нажмите кнопку «Добавить новый вход» на вкладке «Редактор входов». На вкладке появится список доступных источников:

Примечание. В списке отображаются только те объекты, для которых еще не настроена связь с преобразователем.

Щелчком мыши выберите нужный источник из списка. На вкладке «Редактор входов» появится выбранный источник и его поля. Идентификатор входа по умолчанию - «IN», где N - номер входа выбранного преобразователя.

В результате выполненных действий будут созданы вход и его связь с объектом:

Примечание. Результат настройки входа показан на примере преобразователя «Объединение».

Если для преобразователя доступен выбор нескольких входов, повторно нажмите на кнопку «Добавить новый вход» и повторите процедуру выбора источника для входа;

Настройка входа одновременно с процедурой добавления преобразователя в задачу ETL. Для настройки входа при создании преобразователя:

Убедитесь, что на рабочей области расположен как минимум один объект, информация с которого должна поступать на вход преобразователя.
Наведите курсор на выбранный объект. Курсор примет вид указателя, у каждой из четырёх граней объекта появятся коннекторы:

Щелчком мыши выделите один из коннекторов. В группе «Преобразователь» выберите необходимый преобразователь.

После выполнения действий на рабочую область будет добавлен преобразователь, связь между объектом и преобразователем будет настроена автоматически.

Для редактирования идентификатора входа дважды щелкните по идентификатору входа - поле идентификатора перейдет в режим редактирования. Введите новый идентификатор. Идентификатор входа должен быть уникальным и начинаться с буквы. Допускается использование букв латинского алфавита, цифр и знака «_».

Для редактирования полей входа перейдите к разделу «Редактирование поля».

Дублирование позволяет создать вход с полями ранее созданного входа.

Примечание. Дублирование входа доступно только для преобразователей, для которых допустимо добавление нескольких входов.

Для дублирования входа:

Нажмите кнопку «Действия», расположенную в строке с идентификатором соответствующего входа на панели «Редактор входов».
В раскрывающемся меню выполните команду «Дублировать».

В результате выполненных действий будет добавлен новый вход с полями ранее созданного входа.

Для удаления входа:

Нажмите на кнопку , расположенную в строке с идентификатором соответствующего входа на панели «Редактор входов».
В раскрывающемся меню выполните команду «Удалить вход».

После выполнения действий вход будет удален без подтверждения выполняемого действия.

Редактирование выходов преобразователей

Для определения выхода преобразователя и списка полей:

После выполнения действий будет отображена вкладка «Редактор выходов»:

Выходы и связи

Возможные операции для выходов преобразователя:

Настроить выход преобразователя можно двумя способами:

Настройка связи выхода с уже созданным приёмником. Для настройки выхода преобразователя выполните следующие действия:

Убедитесь, что на рабочей области расположен как минимум один объект, выполняющий роль приёмника данных.
Нажмите кнопку «Создать связь», расположенную рядом с идентификатором выхода на вкладке «Редактор выходов». Идентификатор выхода по умолчанию - «ON», где N - номер выхода преобразователя.

На вкладке появится список доступных приёмников:

Примечание. В списке отображаются только те объекты, для которых еще не настроена связь с преобразователем.

Щелчком мыши выберите вход нужного объекта из списка. Связь будет настроена с выбранным объектом.

В результате выполненных действий будут созданы выход преобразователя и его связь с объектом;

Настройка связи одновременно с процедурой добавления приёмника в задачу ETL. Для настройки связи между выходом преобразователя и объектом при создании объекта:

Убедитесь, что на рабочей области расположен преобразователь, для которого нужно настроить выход.
Наведите курсор на преобразователь. Курсор примет вид указателя, у каждой из четырёх граней преобразователя появятся коннекторы.

Щелчком мыши выделите один из коннекторов. В раскрывающемся списке выберите тип объекта, который будет выполнять роль приёмника данных.

Примечание. Команда доступна, если связь между выходом преобразователя и приёмником еще не создана и не превышено максимальное количество выходов преобразователя.

После выполнения действий на рабочую область будет добавлен объект, связь между выходом преобразователя и объектом будет настроена автоматически.

Для редактирования идентификатора выхода дважды щелкните по идентификатору выхода - поле идентификатора перейдет в режим редактирования. Введите новый идентификатор. Идентификатор входа должен быть уникальным и начинаться с буквы. Допускается использование букв латинского алфавита, цифр и знака «_».

Для редактирования полей выхода перейдите к разделу «Редактирование поля».

Для удаления входа:

Нажмите кнопку , расположенную в строке с идентификатором соответствующего выхода на панели «Редактор выходов».
В раскрывающемся меню выполните команду «Удалить выход».

После выполнения действий выход будет удален без подтверждения выполняемого действия.

Редактирование полей входов и выходов

Для настройки полей входов перейдите на вкладку «Редактор входов». Для настройки полей выходов перейдите на вкладку «Редактор выходов». Возможные операции для полей входов и выходов аналогичны:

Для создания поля:

Нажмите кнопку «Добавить поле», расположенную рядом с идентификатором входа/выхода.

Будет открыто окно:

Отредактируйте идентификатор и наименование. По умолчанию они совпадают.
Выберите из раскрывающегося списка необходимый тип поля в зависимости от типа данных источника/приёмника.

В результате выполненных действий будет создано поле с указанными параметрами.

Для быстрого редактирования наименования поля щёлкните по наименованию поля, которое нужно изменить. Поле наименования будет переведено в режим редактирования. Введите новое наименование.

Для быстрого редактирования типа поля щёлкните по типу поля, которое нужно редактировать. Выберите в раскрывающемся списке новый тип поля.

Для редактирования всех параметров поля выполните команду «Редактировать» в контекстном меню поля. Откроется окно редактирования параметров поля:

При необходимости, измените идентификатор, наименование и тип поля. Для сохранения внесённых изменений нажмите кнопку «Применить».

Для удаления поля выполните команду «Удалить» в контекстном меню поля.

Поле будет удалено без подтверждения выполняемого действия.

Для автоматического заполнения полей входа/выхода:

Нажмите кнопку , расположенную в строке с идентификатором соответствующего входа/выхода на панели «Редактор входов»/«Редактор входов».
Выполните одну из команд раскрывшегося меню:

Заполнить из источника. В список будут добавлены поля из источника данных;
Заполнить из приёмника. В список будут добавлены поля из приёмника данных.

После выполнения действий поля входа/выхода будут заполнены автоматически из источника/приёмника.

Редактирование выходов с ошибочными записями

Для настройки связей выходов с ошибочными записями:

После выполнения действий будет отображена вкладка «Выход для записей с ошибками»:

Примечание. Вкладка «Выход для записей с ошибками» показана на примере преобразователя «Объединение». Вид панели и количество доступных выходов зависит от типа преобразователя.

Для задания дополнительных настроек, которые будут применяться при возникновении ошибочных записей, нажмите кнопку «Настройки». Будет открыто окно:

Укажите максимальное количество ошибочных записей, информация о которых будет экспортирована. По умолчанию установлено значение «-1», при этом экспортируется информация обо всех ошибочных записях.

Примечание. При наличии большого количества ошибочных записей, экспорт информации о них может замедлить выполнение задачи ETL.

Если задано максимальное количество выводимых записей, то также выберите действие, выполняемое при превышении этого количества. Доступны следующие действия:

Для сохранения введённых параметров нажмите кнопку «Применить».