Настройка ClickHouse для FlyBI

При использовании режима извлечения данных информация из разнородных источников выгружается в БД ClickHouse. Для корректной работы режима требуется установка ClickHouse. Процесс установки и настройки ClickHouse приведён в справочной документации ClickHouse.

Примечание. При некорректной настройке ClickHouse могут возникнуть ограничения в работе с моделью данных.

При установке ClickHouse создаётся пользователь, под которым будет происходить обращение к БД ClickHouse.

Изменение пароля пользователя ClickHouse

На виртуальной машине сервера FlyBI по умолчанию задан логин/пароль: default/default.

Для изменения пароля:

1. Создайте хэш пароля для пользователя default с помощью команды:

mypasswd="<новый пароль>"

echo -n "$mypasswd" | sha256sum | tr -d '  -'

2. Создайте файл /etc/clickhouse-server/users.d/default-password.xml.

3. Запишите хэш пароля в файл default-password.xml с помощью команды:

sha256_mypasswd=$(echo -n "$mypasswd" | sha256sum | tr -d '  -')

echo "<clickhouse><users><default><password remove=\"1\"></password><password_sha256_hex>$sha256_mypasswd</password_sha256_hex></default></users></clickhouse>" > /etc/clickhouse-server/users.d/default-password.xml

4. Перезапустите сервер ClickHouse:

sudo systemctl restart clickhouse-server

В результате для пользователя default будет изменён пароль.

Сохранение учётных данных пользователя ClickHouse

Для сохранения учётных данных пользователя в продукте FlyBI:

1. Запустите приложение PP.Util с параметром /sschc с помощью команды:

sudo -u www-data PP_NODISPLAY=1 /opt/foresight/FlyBI-biserver/bin/PP.Util /sschc <имя пользователя ClickHouse> <пароль пользователя ClickHouse>

2. Перезапустите BI-сервер с помощью команды:

sudo systemctl restart apache2-FlyBI

В результате имя и пароль пользователя ClickHouse будут сохранены в файл Settings.xml в зашифрованном с помощью приложения PP.Util виде.

Изменение подключения к серверу ClickHouse

Для изменения подключения сервера БД ClickHouse:

1. Откройте файл Settings.xml на редактирование и добавьте в него раздел:

<Configuration>

  <Root>

    ...

    <Key Name="ClickhouseSettings" Server="<IP-адрес сервера ClickHouse>" Port="<порт сервера ClickHouse>" Database="<имя базы данных ClickHouse>"/>

    ...

  </Root>

</Configuration>

Если раздел уже существует, то измените в нём соответствующие настройки подключения.

2. Перезапустите BI-сервер с помощью команды:

sudo systemctl restart apache2-FlyBI

 В результате будут изменены настройки подключения FlyBI к серверу БД ClickHouse.

Примечание. Сервер БД ClickHouse должен принимать внешние подключения с других сетей. Для этого проверьте настройки в файле /etc/clickhouse-server/config.xml в разделе <listen_host>...</listen_host>.

Изменение папки хранения пользовательских файлов

Для изменения расположения хранения пользовательских CSV-файлов с данными:

1. Запустите приложение PP.Util с параметром /sscfp с помощью команды:

sudo -u www-data PP_NODISPLAY=1 /opt/foresight/FlyBI-biserver/bin/PP.Util /sscfp <путь к папке>

2. Раздайте права для пользователя www-data, под которым работает Apache-сервер, с помощью команды:

sudo chown www-data:www-data /var/lib/clickhouse/user_files

3. Перезапустите BI-сервер с помощью команды:

sudo systemctl restart apache2-FlyBI

В результате будет изменён путь хранения пользовательских файлов.

В случае возникновения ошибки

Если при выполнении настройки ClickHouse возникли ошибки, или если репозиторий подключен не к серверу СУБД PostgreSQL, то могут возникнуть ограничения в работе с моделью данных:

• переход в режим извлечения данных становится не доступным;

• обновление данных по расписанию будет приостановлено;

• добавление файлов в модель с помощью вкладки «Загрузка файла» в окне добавления источника будет заблокировано;

• ручное обновление файлов будет заблокировано.

Ошибки, возникшие при настройке ClickHouse, записываются в файл отладочной информации. В файл будут записаны:

• основные этапы извлечения данных:

• удаление существующей таблицы;

• создание таблицы с наименованием «ключ объекта метабазы»;

• загрузка исходной таблицы в csv-файл средствами ETL;

• вставка данных из csv-файла в таблицу;

• удаление csv-файла;

• создание итоговой таблицы;

• ошибки, возникающие в ClickHouse.

Пример содержимого файла отладочной информации