В этой статье:
Репозиторий
Коннектор «Репозиторий» - объект, предназначенный для загрузки данных в объекты репозитория.
После добавления коннектора на рабочее пространство задачи ETL задайте базовые свойства, источник данных в репозитории, настройки экспорта.
В зависимости от объекта репозитория, используемого в качестве приёмника, контекстное меню приёмника будет содержать дополнительные команды:
существующий куб или база данных временных рядов:
Открыть с помощью. Будет открыт указанный объект репозитория в одном из инструментов продукта «Форсайт. Аналитическая платформа»: «Аналитические панели», «Отчеты», «Аналитические запросы»;
таблица:
Открыть приёмник данных. Будет открыта таблица, указанная в качестве приёмника данных;
Редактировать приёмник данных. Будет открыт мастер редактирования таблицы, указанной в качестве приёмника данных;
документ:
Просмотр данных. Будет открыто окно для просмотра данных документа.
Базовые свойства
В базовых свойствах задается наименование объекта, идентификатор и примечание.
Объект репозитория
Страница «Объект репозитория» отображается только при создании нового приёмника:
Выберите тип приёмника, в который будет производиться экспорт. Если создается новый объект, то при переходе к странице «Приёмник данных» будет выдан диалог сохранения нового объекта в репозиторий.
Приёмник данных
Укажите объект текущего репозитория, который будет являться приёмником данных.
Приёмниками могут быть следующие объекты репозитория:
Табличный справочник НСИ, составной табличный справочник НСИ;
Наборы данных (таблица, присоединенная таблица, представление, запрос, источник данных ODBC);
Документ;
Стандартный куб;
База данных временных рядов.
При установке флажка «Очищать приёмник перед загрузкой» все данные из объекта-приёмника будут удалены перед выполнением загрузки. При снятом флажке осуществляется добавление новых и обновление существующих данных.
Если приёмником является табличный справочник НСИ, то в раскрывающемся списке можно выбрать способ обновления элементов. Доступны следующие варианты:
Замещать все элементы. Элементы, которых нет в источнике - будут удалены.
Добавлять новые (отсутствующие элементы). Добавляются только новые элементы, существующие не обновляются.
Обновлять существующие элементы. Обновляются только существующие элементы, новые не добавляются.
Добавлять новые элементы и обновлять существующие. Добавляются новые, обновляются существующие элементы. Элементы, которых нет в источнике, не обновляются.
Примечание. При выборе в качестве приёмника стандартного куба, базы данных временных рядов, табличного справочника НСИ или составного табличного справочника НСИ, флажок «Очищать приёмник перед загрузкой» и кнопка «Редактировать объект» будут недоступны.
Кнопка «Редактировать объект» открывает мастер редактирования выбранного объекта, если он предусмотрен.
Если происходит создание нового приёмника и на странице «Объект репозитория» выбран вариант создания нового объекта, то при переходе к текущей странице будет выдан диалог сохранения нового объекта в репозиторий. Созданный объект автоматически будет выбран в раскрывающемся списке. Также в списке будет выставлен фильтр, позволяющий выбрать другие объекты только того типа, который был указан на странице «Объект репозитория».
Настройка экспорта
Для задания параметров, которые используются для определения экспортируемого диапазона с данными, используйте страницу «Настройка экспорта».
Примечание. Для отображения данной страницы в мастере приёмника данных «Репозиторий» необходимо на странице «Приёмник данных» в качестве приёмника данных указать файл типа «Документ».
Настройки зависят от типа документа и аналогичны настройкам экспорта для приёмника данных такого же формата.
Например, при использовании в качестве приёмника данных документа с расширением *.xlsx, страница «Настройка экспорта» примет следующий вид:
Редактирование входа
Для задания списка полей и связи для входа используйте страницу «Редактирование входа».
На странице доступны следующие параметры:
.
и 
.Примечание. Скриншот сделан на примере мастера редактирования приёмника данных «Репозиторий».
Настройка измерений
Для изменения наименований измерений и их состава используйте страницу «Настройка измерений».
Изменение
наименования измерения
В зависимости от типа выбранного источника данных при нажатии на кнопку «Далее» будет осуществлен переход на следующую страницу.
Сопоставление измерений
Для связи импортируемых измерений с существующими справочниками репозитория используйте страницу «Сопоставление измерений».
Для связи измерения с существующим справочником выберите справочник в раскрывающемся списке напротив необходимого измерения. Для выбора доступны:
календарные справочники;
табличные справочники НСИ;
составные табличные справочники НСИ.
Для добавления при импорте новых элементов в измерение из атрибута указанного справочника установите флажок «Добавлять новые записи». По умолчанию флажок установлен. Если флажок снят, то элементы не добавляются. Импорт данных будет производиться только по тем элементам, которые присутствуют в источнике и в выбранном справочнике. Для привязки к данным будут использоваться только имеющиеся в справочнике элементы.
Примечание. Учитывайте имеющиеся особенности при импорте в иерархические или мультиязычные справочники.
Если измерение не связано с существующим справочником, то для него будет создан новый табличный справочник НСИ.
Фиксация измерений приёмника
Для осуществления фиксации отметки измерений приёмника, которые не были сопоставлены с измерениями источника, используйте страницу «Фиксация измерений приёмника». Страница будет доступна, если в качестве приёмника выбран существующий куб или база данных временных рядов и на вкладке «Сопоставление измерений» была сброшена привязка хотя бы для одного измерения.
Зафиксируйте измерения, выбрав в раскрывающихся списках необходимые элементы. К выбранным элементам будет осуществлена привязка копируемых данных.
Обработка ошибок
Страница присутствует только в мастерах объектов-приёмников и в объекте «Копирование данных». Страница отображается для приёмника репозитория, если в качестве приёмника выбран объект типа таблица или документ.
Определите поведение объекта экспорта при возникновении ошибочных ситуаций:
В раскрывающемся списке «Действие, выполняемое при возникновении ошибочной ситуации» выберите действие, выполняемое при возникновении ошибок во время выгрузки данных:
Остановка расчёта задачи. При возникновении ошибки экспорта будет полностью остановлено выполнение задачи ETL;
Пропуск только некорректных записей. Исключаются некорректные записи. Данный пункт нужно выбирать в случае, когда наличие всех записей некритично;
Пропуск всех записей в рамках одной транзакции. Исключаются все записи той транзакции, в которой возникнет ошибочная ситуация. Данный пункт нужно выбирать в случае, когда необходимо разделить весь объем записей на транзакции, в рамках которых необходимо получение всех данных без исключения;
Примечание. Для объекта-приёмника Excel (*.xlsx) действие «Пропуск всех записей в рамках одной транзакции» отсутствует.
При выборе действий «Остановка расчёта задачи» или «Пропуск только некорректных записей» будет происходить разделение задачи на транзакции, а указанное количество записей будет влиять на скорость выполнения задачи.
При выборе действий «Пропуск только некорректных записей» или «Пропуск всех записей в рамках одной транзакции» доступно указание файла для сохранения пропущенных записей.
В поле «Сохранить пропущенные записи в файл» выберите файл для сохранения пропущенных записей. Если файл с указанным названием отсутствует, то он будет создан автоматически.
Пропущенные записи будут сохранены в указанный файл, если для обработки ошибок задачи установлено действие «Пропуск только некорректных записей» или «Пропуск всех записей в рамках одной транзакции». Перед загрузкой в существующий файл данные в файле стираются.
Доступные форматы файла:Кодировка: Unicode;
Примечание. Если при экспорте не было пропущенных записей, то в файл записывается текст «яю». Это означает пустой юникодный файл в кодировке Win.
Разделитель строк: {Возврат каретки}{Перевод строки};
Разделитель полей: ; (точка с запятой);
Ограничитель текста: "" (двойные кавычки).
Примечание. По умолчанию формируется следующее имя файла: «<идентификатор приёмника>_пропущенные записи.csv».
По каждой пропущенной записи в журнале ETL создается отдельная запись, содержащая номер пропущенной записи, текст ошибки и информация об ошибочном поле. Если были пропущены все записи в рамках транзакции из-за какой-либо одной ошибочной записи, то в журнале эта причина выводится в поле «Описание».
- При необходимости укажите пороговое количество ошибочных записей, при превышении которого экспорт будет остановлен. Для этого установите флажок «Остановить выполнение при пропуске указанного числа записей» и задайте предельное число записей.
- Укажите количество записей, обрабатываемых в рамках одной транзакции в поле «Количество записей, обрабатываемых в одной транзакции». По умолчанию обрабатывается тысяча записей
- При необходимости укажите модуль, который должен срабатывать при возникновении ошибки в задаче ETL. Для этого установите флажок «Вызвать событие, если произошла ошибка» и укажите модуль, заданный в настройках задачи ETL.
Обновление записей
Для выбора полей для обновления в источнике и приёмнике данных используйте страницу «Обновление записей».
В столбце «Идентификатор» отметьте флажками поля, которые будут использоваться для сопоставления записей в источнике и приёмнике.
Для отметки всех полей для обновления нажмите кнопку «Выделить все».
Для снятия отметки со всех полей нажмите кнопку «Отменить все».
Для одновременного перевода отмеченных полей в неотмеченные, а неотмеченные - в отмеченные, нажмите кнопку «Инвертировать».
Примечание. Обновление записей имеет смысл, если приёмник не очищается перед загрузкой данных.
Редактирование выхода
Для задания списка полей и связи для выхода используйте страницу «Редактирование выхода».
На странице доступны следующие настройки:
Примечание. Скриншот сделан на примере мастера редактирования источника данных «Репозиторий».