Руководство по настройке Amazon DocumentDB как источника

Пошаговое руководство по настройке Amazon DocumentDB в качестве источника для ClickPipes

​

Поддерживаемые версии DocumentDB

ClickPipes поддерживает версию 5.0 DocumentDB.

​

Настройка срока хранения журнала change stream

По умолчанию в Amazon DocumentDB срок хранения журнала change stream составляет 3 часа, тогда как начальная загрузка может занять значительно больше времени в зависимости от объема имеющихся данных в DocumentDB. Мы рекомендуем установить срок хранения журнала change stream на 72 часа или более, чтобы журнал не был обрезан до завершения начального снимка.

​

Обновление срока хранения журнала change stream в консоли AWS

1. В левой панели нажмите Parameter groups, затем найдите группу параметров, используемую вашим кластером DocumentDB (если вы используете группу параметров по умолчанию, сначала потребуется создать новую, чтобы можно было вносить изменения).

2. Найдите change_stream_log_retention_duration, выберите этот параметр и измените его значение на 259200 (72 часа)

3. Нажмите Apply Changes, чтобы немедленно применить изменённую группу параметров к кластеру DocumentDB. Статус группы параметров должен сначала измениться на applying, а после применения изменения — на in-sync.

​

Обновление срока хранения журнала change stream через AWS CLI

Кроме того, это можно настроить через AWS CLI.

Чтобы проверить текущий срок хранения журнала change stream:

aws docdb describe-db-cluster-parameters --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --query "Parameters[?ParameterName=='change_stream_log_retention_duration'].{Name:ParameterName,Value:ParameterValue}"

Чтобы установить срок хранения журнала change stream на 72 часа:

aws docdb modify-db-cluster-parameter-group --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --parameters "ParameterName=change_stream_log_retention_duration,ParameterValue=259200,ApplyMethod=immediate"

​

Настройка пользователя базы данных

Подключитесь к своему кластеру DocumentDB под учетной записью администратора и выполните следующую команду, чтобы создать пользователя базы данных для MongoDB CDC ClickPipes:

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Обязательно замените clickpipes_user и some_secure_password на нужные вам имя пользователя и пароль.

​

Что дальше?

Теперь вы можете создать ClickPipe и начать приём данных из экземпляра DocumentDB в ClickHouse Cloud. Обязательно сохраните сведения о подключении, которые вы использовали при настройке кластера DocumentDB, так как они понадобятся вам в процессе создания ClickPipe.