В этой статье:
Репозиторий
Коннектор «Репозиторий» - объект, предназначенный для загрузки данных в объекты репозитория.
После добавления коннектора на рабочее пространство задачи ETL задайте базовые свойства, источник данных в репозитории, настройки экспорта.
В зависимости от объекта репозитория, используемого в качестве приёмника, контекстное меню приёмника будет содержать дополнительные команды:
существующий куб или база данных временных рядов:
Открыть с помощью. Будет открыт указанный объект репозитория в одном из инструментов продукта «Форсайт. Аналитическая платформа»: «Аналитические панели», «Отчеты», «Аналитические запросы»;
таблица:
Открыть приёмник данных. Будет открыта таблица, указанная в качестве приёмника данных;
Редактировать приёмник данных. Будет открыт мастер редактирования таблицы, указанной в качестве приёмника данных;
документ:
Просмотр данных. Будет открыто окно для просмотра данных документа.
Объект репозитория
Страница «Объект репозитория» отображается только при создании нового приёмника:
Выберите тип приёмника, в который будет производиться экспорт. Если создается новый объект, то при переходе к странице «Приёмник данных» будет выдан диалог сохранения нового объекта в репозиторий.
Приёмник данных
Укажите объект текущего репозитория, который будет являться приёмником данных.
Приёмниками могут быть следующие объекты репозитория:
Справочник НСИ, составной справочник НСИ;
Наборы данных (таблица, присоединенная таблица, представление, запрос, источник данных ODBC);
Документ;
Стандартный куб;
База данных временных рядов.
Примечание. В веб-приложении не поддерживается выбор объектов из другого репозитория.
При установке флажка «Очищать приёмник перед загрузкой» все данные из объекта-приёмника будут удалены перед выполнением загрузки. При снятом флажке осуществляется добавление новых и обновление существующих данных.
Если приёмником является справочник НСИ, то в раскрывающемся списке можно выбрать способ обновления элементов. Доступны следующие варианты:
Замещать все элементы. Элементы, которых нет в источнике - будут удалены.
Добавлять новые (отсутствующие элементы). Добавляются только новые элементы, существующие не обновляются.
Обновлять существующие элементы. Обновляются только существующие элементы, новые не добавляются.
Добавлять новые элементы и обновлять существующие. Добавляются новые, обновляются существующие элементы. Элементы, которых нет в источнике, не обновляются.
Примечание. При выборе в качестве приёмника стандартного куба, базы данных временных рядов, справочника НСИ или составного справочника НСИ, флажок «Очищать приёмник перед загрузкой» и кнопка «Редактировать объект» будут недоступны.
Кнопка «Редактировать объект» открывает мастер редактирования выбранного объекта, если он предусмотрен.
Если происходит создание нового приёмника и на странице «Объект репозитория» выбран вариант создания нового объекта, то при переходе к текущей странице будет выдан диалог сохранения нового объекта в репозиторий. Созданный объект автоматически будет выбран в раскрывающемся списке. Также в списке будет выставлен фильтр, позволяющий выбрать другие объекты только того типа, который был указан на странице «Объект репозитория».
Настройка экспорта
Для задания параметров, которые используются для определения экспортируемого диапазона с данными, используйте страницу «Настройка экспорта».
Примечание. Для отображения данной страницы в мастере приёмника данных «Репозиторий» необходимо на странице «Приёмник данных» в качестве приёмника данных указать файл типа «Документ».
Настройки зависят от типа документа и аналогичны настройкам экспорта для приёмника данных такого же формата.
Например, при использовании в качестве приёмника данных документа с расширением *.xlsx, страница «Настройка экспорта» примет следующий вид:
Редактирование входа
Для задания списка полей и связи для входа используйте страницу «Редактирование входа».
На странице доступны следующие параметры:
.
«
«Примечание. Скриншот сделан на примере мастера редактирования приёмника данных «Репозиторий».
Настройка измерений
Для изменения наименований измерений и их состава используйте страницу «Настройка измерений».
Изменение
наименования измерения
В зависимости от типа выбранного источника данных при нажатии на кнопку «Далее» будет осуществлен переход на следующую страницу.
Сопоставление измерений
Для связи импортируемых измерений с существующими справочниками репозитория используйте страницу «Сопоставление измерений».
Для связи измерения с существующим справочником выберите справочник в раскрывающемся списке напротив необходимого измерения. Для выбора доступны:
календарные справочники;
справочники НСИ;
составные справочники НСИ.
Для добавления при импорте новых элементов в измерение из атрибута указанного справочника установите флажок «Добавлять новые записи». По умолчанию флажок установлен. Если флажок снят, то элементы не добавляются. Импорт данных будет производиться только по тем элементам, которые присутствуют в источнике и в выбранном справочнике. Для привязки к данным будут использоваться только имеющиеся в справочнике элементы.
Примечание. Учитывайте имеющиеся особенности при импорте в иерархические или мультиязычные справочники.
Если измерение не связано с существующим справочником, то для него будет создан новый справочник НСИ.
Фиксация измерений приёмника
Для осуществления фиксации отметки измерений приёмника, которые не были сопоставлены с измерениями источника, используйте страницу «Фиксация измерений приёмника». Страница будет доступна, если в качестве приёмника выбран существующий куб или база данных временных рядов и на вкладке «Сопоставление измерений» была сброшена привязка хотя бы для одного измерения.
Зафиксируйте измерения, выбрав в раскрывающихся списках необходимые элементы. К выбранным элементам будет осуществлена привязка копируемых данных.
Обработка ошибок
На странице «Обработка ошибок» определяется поведение объекта экспорта при возникновении ошибочных ситуаций.
Примечание. Страница является общей для всех коннекторов к приёмникам данных, кроме приёмников «XML», «Текст», «JSON» и «Приёмник пользователя». Рассмотрим настройку параметров для обработки ошибок на примере мастера редактирования приёмника данных «Репозиторий».
Задайте параметры:
Действие, выполняемое при возникновении ошибочной ситуации. Выберите в раскрывающемся списке действие, которое будет выполняться при возникновении ошибок во время выгрузки данных:
Остановка расчёта задачи. При возникновении ошибки экспорта будет полностью остановлено выполнение задачи ETL;
Пропуск только некорректных записей. При возникновении ошибки экспорта будут исключены записи с ошибочными ситуациями. Используйте данное действие, когда наличие всех записей некритично;
Пропуск всех записей в рамках одной транзакции. При возникновении ошибки экспорта будут исключены все записи той транзакции, в которой возникнет ошибочная ситуация. Используйте данное действие, когда требуется разделить весь объём записей на транзакции, в рамках которых необходимо получение всех данных без исключения;
При выборе действий «Пропуск только некорректных записей» или «Пропуск всех записей в рамках одной транзакции» доступно указание файла для сохранения пропущенных записей.
Сохранить пропущенные записи в файл. Укажите путь до файла для сохранения пропущенных записей или выберите его с помощью кнопки «Обзор». Если файл с указанным названием отсутствует, то он будет создан автоматически.
Пропущенные записи будут сохранены в указанный файл, если для обработки ошибок задачи установлено действие «Пропуск только некорректных записей» или «Пропуск всех записей в рамках одной транзакции». Перед загрузкой в существующий файл данные в файле стираются.
Параметры сохранения записей в файл:кодировка: Unicode;
Примечание. Если при экспорте не было пропущенных записей, то в файл записывается текст «яю». Это означает пустой Unicode-файл в кодировке Win.
разделитель строк: {Возврат каретки}{Перевод строки};
разделитель полей: ; (точка с запятой);
ограничитель текста: "" (двойные кавычки).
Примечание. По умолчанию формируется следующее имя файла: «<идентификатор приёмника>_пропущенные записи.csv».
По каждой пропущенной записи в журнале ETL создаётся отдельная запись, содержащая номер пропущенной записи, текст ошибки и информацию об ошибочном поле. Если были пропущены все записи в рамках транзакции из-за какой-либо одной ошибочной записи, то в журнале эта причина выводится в поле «Описание».
Остановить выполнение при пропуске указанного числа записей. При необходимости установите флажок и укажите пороговое количество ошибочных записей, при превышении которого экспорт будет остановлен.
Количество записей, обрабатываемых в одной транзакции. Укажите количество записей, которые будут обрабатываться в рамках одной транзакции. Механизм транзакций рекомендуется использовать для оптимизации времени, затрачиваемого на экспорт данных. Все записи в рамках одной транзакции обрабатываются как единое целое: если происходит ошибка при выгрузке хотя бы одной записи из транзакции, то неуспешной будет вся транзакция. По умолчанию обрабатывается тысяча записей.
Примечание. Если распределять записи по транзакциям не требуется, то укажите количество записей, равное нулю. В таком случае все записи из источника будут выгружаться по очереди. Данная настройка применяется только в том случае, если в раскрывающемся списке «Действие, выполняемое при возникновении ошибочной ситуации» выбрано действие «Остановка расчёта задачи» или «Пропуск только некорректных записей».
Вызвать событие, если произошла ошибка. При необходимости вызова события в случае возникновения ошибки в задаче ETL установите флажок и укажите модуль, содержащий реализацию обработчиков требуемых событий. Модуль должен быть предварительно задан в настройках задачи ETL.
После выполнения действий будет настроено поведение объекта экспорта при возникновении ошибочных ситуаций во время выгрузки данных.
Примечание. Страница «Обработка ошибок» отображается в мастере редактирования, если в качестве приёмника выбран объект типа «Таблица» или «Документ».
Обновление записей
Для выбора полей для обновления в источнике и приёмнике данных используйте страницу «Обновление записей».
В столбце «Идентификатор» отметьте флажками поля, которые будут использоваться для сопоставления записей в источнике и приёмнике.
Для отметки всех полей для обновления нажмите кнопку «Выделить все».
Для снятия отметки со всех полей нажмите кнопку «Отменить все».
Для одновременного перевода отмеченных полей в неотмеченные, а неотмеченные - в отмеченные, нажмите кнопку «Инвертировать».
Примечание. Обновление записей имеет смысл, если приёмник не очищается перед загрузкой данных.
Редактирование выхода
На странице «Редактирование выхода» задаётся связь с объектом-приёмником, в который будут выгружаться данные при выполнении задачи ETL.
Примечание. Страница является общей для всех коннекторов и преобразователей данных, кроме преобразователей «Разделение» и «Алгоритм пользователя». Рассмотрим настройку списка полей и связи выхода на примере мастера редактирования источника данных «Репозиторий».
На странице доступны следующие настройки: