Guía de configuración de Amazon DocumentDB como fuente

Guía paso a paso para configurar Amazon DocumentDB como fuente de ClickPipes

​

Versiones compatibles de DocumentDB

ClickPipes es compatible con DocumentDB versión 5.0.

​

Configurar la retención de registros del change stream

De forma predeterminada, Amazon DocumentDB tiene un período de retención de registros del change stream de 3 horas, mientras que la carga inicial puede tardar bastante más en función del volumen de datos existente en su DocumentDB. Recomendamos establecer la retención de registros del change stream en 72 horas o más para garantizar que no se trunque antes de que se complete la instantánea inicial.

​

Actualizar la retención de registros del change stream desde la Consola de AWS

1. Haga clic en Parameter groups en el panel izquierdo y busque el grupo de parámetros que usa su clúster de DocumentDB (si está usando el grupo de parámetros predeterminado, primero deberá crear uno nuevo para poder modificarlo).

2. Busque change_stream_log_retention_duration, selecciónelo y cámbielo a 259200 (72 horas)

3. Haga clic en Apply Changes para aplicar de inmediato el grupo de parámetros modificado a su clúster de DocumentDB. Debería ver que el estado del grupo de parámetros cambia primero a applying y luego a in-sync cuando se aplique el cambio.

​

Actualiza la retención de registros del change stream con AWS CLI

Como alternativa, puedes configurarlo con AWS CLI.

Para comprobar el período actual de retención de registros del change stream:

aws docdb describe-db-cluster-parameters --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --query "Parameters[?ParameterName=='change_stream_log_retention_duration'].{Name:ParameterName,Value:ParameterValue}"

Para establecer en 72 horas el período de retención del registro del flujo de cambios:

aws docdb modify-db-cluster-parameter-group --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --parameters "ParameterName=change_stream_log_retention_duration,ParameterValue=259200,ApplyMethod=immediate"

​

Configure un usuario de base de datos

Conéctese a su clúster de DocumentDB como usuario administrador y ejecute el siguiente comando para crear un usuario de base de datos para ClickPipes de CDC de MongoDB:

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Asegúrate de sustituir clickpipes_user y some_secure_password por el nombre de usuario y la contraseña que quieras usar.

​

¿Qué sigue?

Ahora puedes crear tu ClickPipe y empezar a ingerir datos desde tu instancia de DocumentDB en ClickHouse Cloud. Asegúrate de anotar los datos de conexión que usaste al configurar tu clúster de DocumentDB, ya que los necesitarás durante el proceso de creación de ClickPipe.