Руководство по настройке общего источника Postgres
Если вы используете одного из поддерживаемых провайдеров (в боковой панели), обратитесь к конкретному руководству для этого провайдера.
ClickPipes поддерживает версии Postgres 12 и выше.
Включение логической репликации
-
Чтобы включить репликацию на вашем экземпляре Postgres, убедитесь, что следующие настройки установлены:
Чтобы проверить это, вы можете выполнить следующую SQL команду:
Результат должен быть
logical
. Если нет, выполните: -
Дополнительно рекомендуется установить следующие параметры на экземпляре Postgres:
Чтобы проверить это, вы можете выполнить следующие SQL команды:
Если значения не соответствуют рекомендованным, вы можете выполнить следующие SQL команды, чтобы установить их:
-
Если вы внесли какие-либо изменения в конфигурацию, как указано выше, вам НЕОБХОДИМО ПЕРЕЗАПУСТИТЬ экземпляр Postgres, чтобы изменения вступили в силу.
Создание пользователя с разрешениями и публикациями
Давайте создадим нового пользователя для ClickPipes с необходимыми разрешениями, подходящими для CDC, и также создадим публикацию, которую мы будем использовать для репликации.
Для этого вы можете подключиться к своему экземпляру Postgres и выполнить следующие SQL команды:
Убедитесь, что заменили clickpipes_user
и clickpipes_password
на желаемое имя пользователя и пароль.
Включение подключений в pg_hba.conf для пользователя ClickPipes
Если вы управляете сервисом самостоятельно, вам необходимо разрешить подключения к пользователю ClickPipes с IP-адресов ClickPipes, следуя приведенным ниже шагам. Если вы используете управляемый сервис, вы можете сделать то же самое, следуя документации провайдера.
-
Внесите необходимые изменения в файл
pg_hba.conf
, чтобы разрешить подключения к пользователю ClickPipes с IP-адресов ClickPipes. Пример записи в файлеpg_hba.conf
будет выглядеть так: -
Перезагрузите экземпляр PostgreSQL, чтобы изменения вступили в силу:
Увеличение max_slot_wal_keep_size
Это рекомендуемое изменение конфигурации, чтобы гарантировать, что крупные транзакции/коммиты не вызывают удаление слота репликации.
Вы можете увеличить параметр max_slot_wal_keep_size
для вашего экземпляра PostgreSQL до более высокого значения (по крайней мере 100 ГБ или 102400
), обновив файл postgresql.conf
.
Вы можете перезагрузить экземпляр Postgres, чтобы изменения вступили в силу:
Для получения лучших рекомендаций по этому значению вы можете обратиться к команде ClickPipes.
Что дальше?
Теперь вы можете создать свой ClickPipe и начать прием данных с вашего экземпляра Postgres в ClickHouse Cloud. Не забудьте записать детали подключения, которые вы использовали при настройке вашего экземпляра Postgres, так как они понадобятся вам во время процесса создания ClickPipe.