Преобразователь «Удаление дубликатов» - объект, выполняющий удаление дубликатов в данных. На входе объекта один источник, на выходе - два приёмника. Данная операция производит удаление дублирующих значений на основе заданного индекса. Для определения удаляемых строк формируется условие, на основании которого происходит отбор записей.
Для эффективного удаления дубликатов данные источника должны быть упорядочены по индексу. После выполнения операции данные остаются упорядоченными.
Мастер создания объекта «Удаление дубликатов» содержит следующие страницы:
Базовые свойства. Указываются примечание, наименование объекта, идентификатор объекта;
Редактирование входа. Задаётся список полей и связь с объектом для входа;
Редактирование выхода. Задаётся список полей и связь с объектом для выхода;
Редактирование выхода с дубликатами. Задаётся связь с объектом для выхода. Аналогична странице «Редактирование выхода», но отличается тем, что список полей доступен только для чтения и полностью соответствует полям основного выхода;
Редактирование выхода с ошибочными записями. Задаётся связь с приёмником, в который будет экспортироваться информация об ошибочных записях;
Проверяемые поля. Выбираются поля, значения которых будут проверяться на дублирование;
Дедубликатор. Задаётся условие для удаления записей.
При использовании преобразователя «Удаление дубликатов» из таблицы:
| Key | Date | Value |
| 4 | Summer | 1111 |
| 1 | Winter | 2222 |
| 5 | Summer | 3333 |
| 2 | Winter | 4444 |
| 4 | Summer | 1111 |
| 6 | Summer | 5555 |
| 5 | Summer | 3333 |
| 3 | Winter | 6666 |
можно получить таблицу без дублирования:
| Key | Date | Value |
| 4 | Summer | 1111 |
| 1 | Winter | 2222 |
| 5 | Summer | 3333 |
| 2 | Winter | 4444 |
| 6 | Summer | 5555 |
| 3 | Winter | 6666 |
и таблицу из удаленных дубликатов:
| Key | Date | Value |
| 4 | Summer | 1111 |
| 5 | Summer | 3333 |
Таким образом удаление дубликатов производилось, если одновременно совпадали значения всех полей.
См. также: