Для работы с инструментом в продукте «Форсайт. Аналитическая платформа» версии 10 используйте новый интерфейс.

В этой статье:

Базовые свойства

Объект репозитория

Приёмник данных

Настройка экспорта

Редактирование входа

Настройка измерений

Сопоставление измерений

Фиксация измерений приёмника

Обработка ошибок

Обновление записей

Редактирование выхода

Репозиторий

Коннектор «Репозиторий» - объект, предназначенный для загрузки данных в объекты репозитория.

После добавления коннектора на рабочее пространство задачи ETL задайте базовые свойства, источник данных в репозитории, настройки экспорта.

В зависимости от объекта репозитория, используемого в качестве приёмника, контекстное меню приёмника будет содержать дополнительные команды:

Базовые свойства

В базовых свойствах задаются наименование объекта, идентификатор и примечание.

Объект репозитория

Страница «Объект репозитория» отображается только при создании нового приёмника:

Выберите тип приёмника, в который будет производиться экспорт. Если создается новый объект, то при переходе к странице «Приёмник данных» будет выдан диалог сохранения нового объекта в репозиторий.

Приёмник данных

Укажите объект текущего репозитория, который будет являться приёмником данных.

Приёмниками могут быть следующие объекты репозитория:

Примечание. В веб-приложении не поддерживается выбор объектов из другого репозитория.

При установке флажка «Очищать приёмник перед загрузкой» все данные из объекта-приёмника будут удалены перед выполнением загрузки. При снятом флажке осуществляется добавление новых и обновление существующих данных.

Если приёмником является справочник НСИ, то в раскрывающемся списке можно выбрать способ обновления элементов. Доступны следующие варианты:

Примечание. При выборе в качестве приёмника стандартного куба, базы данных временных рядов, справочника НСИ или составного справочника НСИ, флажок «Очищать приёмник перед загрузкой» и кнопка «Редактировать объект» будут недоступны.

Кнопка «Редактировать объект» открывает мастер редактирования выбранного объекта, если он предусмотрен.

Если происходит создание нового приёмника и на странице «Объект репозитория» выбран вариант создания нового объекта, то при переходе к текущей странице будет выдан диалог сохранения нового объекта в репозиторий. Созданный объект автоматически будет выбран в раскрывающемся списке. Также в списке будет выставлен фильтр, позволяющий выбрать другие объекты только того типа, который был указан на странице «Объект репозитория».

Настройка экспорта

Для задания параметров, которые используются для определения экспортируемого диапазона с данными, используйте страницу «Настройка экспорта».

Примечание. Для отображения данной страницы в мастере приёмника данных «Репозиторий» необходимо на странице «Приёмник данных» в качестве приёмника данных указать файл типа «Документ».

Настройки зависят от типа документа и аналогичны настройкам экспорта для приёмника данных такого же формата.

Например, при использовании в качестве приёмника данных документа с расширением *.xlsx, страница «Настройка экспорта» примет следующий вид:

Редактирование входа

Для задания списка полей и связи для входа используйте страницу «Редактирование входа».

На странице доступны следующие параметры:

Идентификатор

Связь с объектом

Поля

Примечание. Скриншот сделан на примере мастера редактирования приёмника данных «Репозиторий».

Настройка измерений

Для изменения наименований измерений и их состава используйте страницу «Настройка измерений».

Изменение наименования измерения

Изменение состава измерения

В зависимости от типа выбранного источника данных при нажатии на кнопку «Далее» будет осуществлен переход на следующую страницу.

Сопоставление измерений

Для связи импортируемых измерений с существующими справочниками репозитория используйте страницу «Сопоставление измерений».

Для связи измерения с существующим справочником выберите справочник в раскрывающемся списке напротив необходимого измерения. Для выбора доступны:

Для добавления при импорте новых элементов в измерение из атрибута указанного справочника установите флажок «Добавлять новые записи». По умолчанию флажок установлен. Если флажок снят, то элементы не добавляются. Импорт данных будет производиться только по тем элементам, которые присутствуют в источнике и в выбранном справочнике. Для привязки к данным будут использоваться только имеющиеся в справочнике элементы.

Примечание. Учитывайте имеющиеся особенности при импорте в иерархические или мультиязычные справочники.

Если измерение не связано с существующим справочником, то для него будет создан новый справочник НСИ.

Фиксация измерений приёмника

Для осуществления фиксации отметки измерений приёмника, которые не были сопоставлены с измерениями источника, используйте страницу «Фиксация измерений приёмника». Страница будет доступна, если в качестве приёмника выбран существующий куб или база данных временных рядов и на вкладке «Сопоставление измерений» была сброшена привязка хотя бы для одного измерения.

Зафиксируйте измерения, выбрав в раскрывающихся списках необходимые элементы. К выбранным элементам будет осуществлена привязка копируемых данных.

Обработка ошибок

На странице «Обработка ошибок» определяется поведение объекта экспорта при возникновении ошибочных ситуаций.

Примечание. Страница является общей для всех коннекторов к приёмникам данных, кроме приёмников «XML», «Текст», «JSON» и «Приёмник пользователя». Рассмотрим настройку параметров для обработки ошибок на примере мастера редактирования приёмника данных «Репозиторий».

Задайте параметры:

При выборе действий «Пропуск только некорректных записей» или «Пропуск всех записей в рамках одной транзакции» доступно указание файла для сохранения пропущенных записей.

Примечание. Если при экспорте не было пропущенных записей, то в файл записывается текст «яю». Это означает пустой Unicode-файл в кодировке Win.

    • разделитель строк: {Возврат каретки}{Перевод строки};

    • разделитель полей: ; (точка с запятой);

    • ограничитель текста: "" (двойные кавычки).

Примечание. По умолчанию формируется следующее имя файла: «<идентификатор приёмника>_пропущенные записи.csv».

По каждой пропущенной записи в журнале ETL создаётся отдельная запись, содержащая номер пропущенной записи, текст ошибки и информацию об ошибочном поле. Если были пропущены все записи в рамках транзакции из-за какой-либо одной ошибочной записи, то в журнале эта причина выводится в поле «Описание».

Примечание. Если распределять записи по транзакциям не требуется, то укажите количество записей, равное нулю. В таком случае все записи из источника будут выгружаться по очереди. Данная настройка применяется только в том случае, если в раскрывающемся списке «Действие, выполняемое при возникновении ошибочной ситуации» выбрано действие «Остановка расчёта задачи» или «Пропуск только некорректных записей».

После выполнения действий будет настроено поведение объекта экспорта при возникновении ошибочных ситуаций во время выгрузки данных.

Примечание. Страница «Обработка ошибок» отображается в мастере редактирования, если в качестве приёмника выбран объект типа «Таблица» или «Документ».

Обновление записей

Для выбора полей для обновления в источнике и приёмнике данных используйте страницу «Обновление записей».

В столбце «Идентификатор» отметьте флажками поля, которые будут использоваться для сопоставления записей в источнике и приёмнике.

Для отметки всех полей для обновления нажмите кнопку «Выделить все».

Для снятия отметки со всех полей нажмите кнопку «Отменить все».

Для одновременного перевода отмеченных полей в неотмеченные, а неотмеченные - в отмеченные, нажмите кнопку «Инвертировать».

Примечание. Обновление записей имеет смысл, если приёмник не очищается перед загрузкой данных.

Редактирование выхода

На странице «Редактирование выхода» задаётся связь с объектом-приёмником, в который будут выгружаться данные при выполнении задачи ETL.

Примечание. Страница является общей для всех коннекторов и преобразователей данных, кроме преобразователей «Разделение» и «Алгоритм пользователя». Рассмотрим настройку списка полей и связи выхода на примере мастера редактирования источника данных «Репозиторий».

На странице доступны следующие настройки:

Идентификатор

Связь с объектом

Поля

См. также:

Начало работы с инструментом «Задача ETL» в веб-приложении | Приёмники данных