반응형
시작하기 전에
시작하기 전에 다음 단계를 완료합니다.
복제 사용자의 권한 업데이트
외부 서버의 복제 사용자는 모든 호스트(%)의 연결을 수락하도록 구성됩니다. Cloud SQL 복제본에서만 사용할 수 있도록 이 사용자 계정을 업데이트합니다.
복제가 GTID를 기반으로 하는 경우 REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT, RELOAD 권한이 필요합니다.
복제가 바이너리 로그를 기반으로 하는 경우 REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT, RELOAD 권한이 필요합니다.
외부 서버에서 터미널을 열고 다음 명령어를 입력합니다.
GTID의 경우:
UPDATE mysql.user
SET Host='NEW_HOST'
WHERE Host='OLD_HOST'
AND User='USERNAME';
GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION_CLIENT,
RELOAD ON . TO
'USERNAME'@'HOST';
FLUSH PRIVILEGES;
바이너리 로그의 경우:
UPDATE mysql.user
SET Host='NEW_HOST'
WHERE Host='OLD_HOST'
AND User='USERNAME';
GRANT REPLICATION SLAVE, EXECUTE, SELECT, SHOW VIEW, REPLICATION CLIENT,
RELOAD ON . TO 'GCP_USERNAME'@'HOST';
FLUSH PRIVILEGES;
속성설명
| NEW_HOST | Cloud SQL 복제본의 발신 IP를 지정합니다. |
| OLD_HOST | 변경하려는 Host에 지정된 현재 값입니다. |
| USERNAME | 외부 서버의 복제 사용자 계정입니다. |
| GCP_USERNAME | GCP 사용자 계정의 사용자 이름입니다. |
| HOST | GCP 사용자 계정의 호스트 이름입니다. |
복제 설정 확인
설정이 완료되면 Cloud SQL 복제본이 외부 서버에서 복제할 수 있는지 확인합니다.
다음 외부 동기화 설정은 정확해야 합니다.
- Cloud SQL 복제본과 외부 서버 간 연결
- 사용자 권한 복제
- 버전 호환성
- Cloud SQL 복제본은 아직 복제하지 않습니다.
- Binlog는 외부 서버에서 사용 설정되어 있습니다.
- RDS 외부 서버에서 외부 동기화를 시도하고 Google Cloud 버킷을 사용하는 경우 GTID가 사용 설정되어 있습니다.
이 설정을 확인하려면 Cloud Shell 터미널을 열고 다음 명령어를 입력합니다.
gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
--header 'Content-Type: application/json' \
--data '{
"syncMode": "SYNC_MODE",
"mysqlSyncConfig": {
"initialSyncFlags": "SYNC_FLAGS"
}
}' \
-X POST \
https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE/verifyExternalSyncSettings
이러한 호출에서 sql#externalSyncSettingErrorList 유형 목록을 반환합니다.
목록이 비어 있으면 오류가 없는 것입니다. 오류가 없는 응답은 다음과 같이 표시됩니다. { "kind": "sql#externalSyncSettingErrorList" }
속성설명
| SYNC_MODE | 복제가 설정된 후 Cloud SQL 복제본과 외부 서버를 동기화 상태로 유지할 수 있는지 확인합니다. 동기화 모드에는 EXTERNAL_SYNC_MODE_UNSPECIFIED, ONLINE, OFFLINE이 있습니다. |
| SYNC_FLAGS | 확인할 초기 동기화 플래그 목록입니다. 소스에서 복제할 때 커스텀 동기화 플래그를 사용하려는 경우에만 권장됩니다. 허용되는 플래그 목록은 여기를 참조하세요. |
| PROJECT_ID | Google Cloud의 프로젝트 ID입니다. |
| REPLICA_INSTANCE | Cloud SQL 복제본의 ID입니다. |
전역 읽기 잠금 권한
Amazon RDS 및 Amazon Aurora와 같이 외부 서버의 전역 읽기 잠금에 액세스할 수 있는 권한이 없으면 다음 단계에 설명된 대로 서버에 쓰기를 일시중지합니다.
- 로그 탐색기로 이동하여 리소스 목록에서 Cloud SQL 복제본을 선택합니다. Cloud SQL 복제본의 최근 로그 목록이 표시됩니다. 지금은 무시하세요.
- 터미널을 열고 외부 서버에서 복제 시작의 명령어를 입력하여 외부 서버에서 복제합니다.
- 로그 탐색기로 돌아갑니다. 다음과 같은 로그가 표시되면 외부 서버의 데이터베이스에 쓰기를 중지합니다. 대부분의 경우 이는 몇 초 동안만 필요합니다.
DUMP_IMPORT(START): Start importing data, please pause any write to the external primary database. - 로그 탐색기에 다음 로그 항목이 표시되면 외부 서버의 데이터베이스에 쓰기를 다시 사용 설정합니다.
DUMP_IMPORT(SYNC): Consistent state on primary and replica. Writes to the external primary may resume.
외부 서버에서 복제 시작
외부 서버에서 복제할 수 있음을 확인한 후에는 복제를 수행할 수 있습니다. 복제본이 시간당 25~50GB를 가져올 것으로 예상합니다.
주의: Amazon RDS 또는 Amazon Aurora와 같은 관리형 서비스의 데이터베이스에서 가져오기를 시작하면 Cloud SQL에서 데이터 덤프가 일관되도록 몇 초 동안 쓰기를 정지하라고 안내합니다. 관리형 서비스 기본 인스턴스에 대한 쓰기 다운타임이 방지되도록 기본 인스턴스 대신 읽기 복제본을 복제 소스로 선택할 수 있습니다. 쓰기 중지가 필요한 단계 중에는 소스 읽기 복제본에 대한 복제를 일시 중지한 후 쓰기 중지 단계가 끝나면 복제를 계속할 수 있습니다.
초기 가져오기 프로세스 중에는 외부 서버에서 DDL 작업을 수행하지 않습니다. 이렇게 하면 가져오는 동안 불일치가 발생할 수 있습니다. 가져오기 프로세스가 완료되면 복제본은 외부 서버에서 바이너리 로그를 사용하여 외부 서버의 현재 상태를 반영합니다.
gcloud auth login
ACCESS_TOKEN="$(gcloud auth print-access-token)"
curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
--header 'Content-Type: application/json' \
--data '{
"syncMode": "SYNC_MODE",
"skipVerification": "SKIP_VERIFICATION",
"mysqlSyncConfig": {
"initialSyncFlags": "SYNC_FLAGS"
}
}' \
-X POST \
https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_ID/instances/REPLICA_INSTANCE/startExternalSync
속성설명
| SYNC_MODE | 복제가 설정된 후 Cloud SQL 복제본과 외부 서버를 동기화 상태로 유지할 수 있는지 확인합니다. |
| SKIP_VERIFICATION | 데이터를 동기화하기 전에 기본 제공 검증 단계를 건너뛸지 여부입니다. 이미 복제 설정을 확인한 경우에만 권장됩니다. |
| SYNC_FLAGS | 확인할 초기 동기화 플래그 목록입니다. 소스에서 복제할 때 커스텀 동기화 플래그를 사용하려는 경우에만 권장됩니다. 허용되는 플래그 목록은 여기를 참조하세요. |
| PROJECT_ID | Google Cloud의 프로젝트 ID입니다. |
| REPLICA_INSTANCE | Cloud SQL 복제본의 ID입니다. |
허용되는 기본 초기 동기화 플래그
관리형 가져오기를 사용할 때 복제를 설정하면 mysqldump는 기본적으로 다음 플래그로 실행됩니다.
- --host=[HOST_SPECIFIED_IN_SOURCE_CONFIG]
- --port=[PORT_SPECIFIED_IN_SOURCE_CONFIG]
- --ssl-ca=[SSL_CA_SPECIFIED_IN_SOURCE_CONFIG]
- --ssl-cert=[SSL_CERT_SPECIFIED_IN_SOURCE_CONFIG]
- --ssl-key=[SSL_KEY_SPECIFIED_IN_SOURCE_CONFIG]
- --master-data=[SPECIFIED_BY_SYNC_MODE_AND_SOURCE_GTID_MODE]
- --set-gtid-purged=AUTO
- --single-transaction
- --hex-blob
- --compress
- --no-autocommit
- --default-character-set=utf8mb4
- --databases [ALL_NON_SYSTEM_DBS]
- --add-drop-table
- --routines
대부분의 고객에게 이 구성을 제공하는 것이 좋습니다.
그러나 특정한 경우에는 커스텀 동기화 플래그를 지정해야 할 수도 있습니다. 허용되는 플래그는 다음과 같습니다.
- --add-drop-database
- --add-drop-table
- --add-drop-trigger
- --add-locks
- --allow-keywords
- --all-tablespaces
- --apply-slave-statements
- --column-statistics
- --comments
- --compact
- --compatible
- --complete-insert
- --compress
- --compression-algorithms
- --create-options
- --default-character-set
- --delayed-insert
- --disable-keys
- --dump-date
- --events
- --extended-insert
- --fields-enclosed-by
- --fields-escaped-by
- --fields-optionally-enclosed-by
- --fields-terminated-by
- --flush-logs
- --flush-privileges
- --force
- --get-server-public-key
- --hex-blob
- --ignore-error
- --ignore-read-lock-error
- --ignore-table
- --insert-ignore
- --lines-terminated-by
- --lock-all-tables
- --lock-tables
- max_allowed_packet
- --net-buffer-length
- --network-timeout
- --no-autocommit
- --no-create-db
- --no-create-info
- --no-data
- --no-defaults
- --no-set-names
- --no-tablespaces
- --opt
- --order-by-primary
- --pipe
- --quote-names
- --quick
- --replace
- --routines
- --secure-auth
- --set-charset
- --shared-memory-base-name
- --show-create-skip-secondary-engine
- --skip-opt
- --ssl-cipher
- --ssl-fips-mode
- --ssl-verify-server-cert
- --tls-ciphersuites
- --tls-version
- --triggers
- --tz-utc
- --verbose
- --xml
- --zstd-compression-level
허용되는 값은 MySQL 공개 문서를 참조하세요.
마이그레이션 모니터링
외부 서버에서 복제를 시작하면 복제를 모니터링해야 합니다. 자세한 내용은 복제 모니터링을 참조하세요. 그러면 마이그레이션을 완료할 수 있습니다.
문제 해결
다음 문제 해결 옵션을 고려하세요.
문제문제 해결
| 생성 시 읽기 복제본이 복제를 시작하지 않았습니다. | 로그 파일에 더 구체적인 오류가 있을 수 있습니다. Cloud Logging의 로그를 검사하여 실제 오류를 찾습니다. |
| 읽기 복제본을 만들 수 없음 - invalidFlagValue 오류 | 요청의 플래그 중 하나가 잘못되었습니다. 명시적으로 제공한 플래그 또는 기본값으로 설정된 플래그일 수 있습니다.먼저 max_connections 플래그의 값이 기본 값보다 크거나 같은지 확인합니다. max_connections 플래그가 적절하게 설정된 경우 Cloud Logging에서 로그를 검사하여 실제 오류를 확인합니다. |
| 읽기 복제본을 만들 수 없음 - 알 수 없는 오류 | 로그 파일에 더 구체적인 오류가 있을 수 있습니다. Cloud Logging의 로그를 검사하여 실제 오류를 찾습니다.오류가 set Service Networking service account as servicenetworking.serviceAgent role on consumer project이면 Service Networking API를 사용 중지했다가 다시 사용 설정합니다. 이렇게 하면 프로세스를 계속 진행하는 데 필요한 서비스 계정이 생성됩니다. |
| 디스크가 가득 참 | 복제본을 만드는 동안 기본 인스턴스 디스크 크기가 가득 찰 수 있습니다. 기본 인스턴스를 수정하여 더 큰 디스크 크기로 업그레이드합니다. |
| 복제본 인스턴스가 너무 많은 메모리를 사용하고 있습니다. | 복제본은 임시 메모리를 사용하여 자주 요청되는 읽기 작업을 캐시하므로 기본 인스턴스보다 더 많은 메모리를 사용할 수 있습니다.복제본 인스턴스를 다시 시작하여 임시 메모리 공간을 회수합니다. |
| 복제가 중지되었습니다. | 최대 스토리지 한도에 도달했고 스토리지 자동 증가가 사용 설정되지 않았습니다.인스턴스를 수정하여 automatic storage increase를 사용 설정합니다. |
| 긴 복제 지연 시간이 지속적으로 발생합니다. | 쓰기 부하가 너무 높아 복제본이 처리할 수 없습니다. 복제본의 SQL 스레드가 IO 스레드를 따라잡을 수 없는 경우 복제 지연이 발생합니다. 일부 쿼리 또는 워크로드로 인해 특정 스키마에서 일시적이거나 영구적인 복제 지연이 발생할 수 있습니다. 복제 지연이 발생하는 일반적인 원인은 다음과 같습니다.
|
| 복제 지연 시간이 갑자기 증가합니다. | 장기 실행 트랜잭션으로 인해 발생합니다. 트랜잭션(단일 문 또는 다중 문)이 소스 인스턴스에서 커밋되면 트랜잭션의 시작 시간이 바이너리 로그에 기록됩니다. 복제본에 이 binlog 이벤트가 수신되면 타임스탬프를 현재 타임스탬프와 비교해서 복제 지연 시간을 계산합니다. 따라서 소스에 장기 실행 트랜잭션이 있을 경우 복제본에서 즉각적인 큰 복제 지연을 일으킬 수 있습니다. 트랜잭션에서 행이 변경되는 정도가 크면 복제본에서도 이를 수행하기 위해 긴 시간이 소비됩니다. 이 기간 동안 복제 지연이 증가합니다. 복제본에서 이 트랜잭션이 완료된 다음의 캐치업 기간은 소스의 쓰기 워크로드 및 복제본의 처리 속도에 따라 달라집니다.트랜잭션이 길어지는 것을 방지하기 위해 몇 가지 가능한 해결 방법이 있습니다.
|
| 병렬 복제 플래그를 변경하면 오류가 발생합니다. | 이러한 플래그 중 하나 이상에 잘못된 값이 설정되었습니다.오류 메시지를 표시하는 기본 인스턴스에서 다음과 같이 병렬 복제 플래그를 설정합니다.
|
| 제한 시간으로 인해 복제본을 만들지 못했습니다. | 기본 인스턴스에서 커밋되지 않은 장기 실행 트랜잭션으로 인해 읽기 복제본을 만들지 못할 수 있습니다.실행 중인 모든 쿼리를 중지한 후 복제본을 다시 만듭니다. |
또한 MySQL의 경우 다음 옵션도 고려하세요.
문제문제 해결
| Lost connection to MySQL server during query when dumping table. | 소스를 사용할 수 없거나 덤프가 너무 큰 패킷을 포함하고 있을 수 있습니다.외부 기본 프로젝트를 연결할 수 있는지 확인하거나 max_allowed_packet 옵션으로 mysqldump를 사용합니다. 관리형 가져오기 마이그레이션에 mysqldump 플래그를 사용하는 방법에 대한 자세한 내용은 허용되는 기본 초기 동기화 플래그를 참조하세요. |
| 초기 데이터 마이그레이션이 성공했지만 복제 중인 데이터가 없습니다. | 한 가지 가능한 근본 원인은 소스 데이터베이스에서 복제 플래그를 정의하여 일부 또는 전체 데이터베이스 변경사항이 복제되지 않기 때문일 수 있습니다.binlog-do-db, binlog-ignore-db, replicate-do-db, replicate-ignore-db와 같은 복제 플래그가 충돌 방식으로 설정되어 있지 않은지 확인합니다. 기본 인스턴스에서 show master status 명령어를 실행하여 현재 설정을 확인합니다. |
| 초기 데이터 마이그레이션에 성공했지만 얼마 후 데이터 복제가 더 이상 작동하지 않습니다. | 해결 방법:
|
| mysqld check failed: data disk is full. | 복제본 인스턴스의 데이터 디스크가 가득 찼습니다.복제본 인스턴스의 디스크 크기를 늘립니다. 수동으로 디스크 크기를 늘리거나 스토리지 자동 증가를 사용 설정할 수 있습니다. |
복제 로그 검토
복제 설정을 확인하면 로그가 생성됩니다.
이러한 로그를 확인하려면 다음 단계를 따르세요.
- Google Cloud Console에서 로그 뷰어로 이동합니다.
- 로그 뷰어로 이동
- 인스턴스 드롭다운에서 Cloud SQL 복제본을 선택합니다.
- replication-setup.log 로그 파일을 선택합니다.
Cloud SQL 복제본이 외부 서버에 연결될 수 없으면 다음을 확인합니다.
- 외부 서버의 모든 방화벽이 Cloud SQL 복제본의 발신 IP 주소의 연결을 허용하도록 구성되어 있습니다.
- SSL/TLS 구성이 올바릅니다.
- 복제 사용자, 호스트, 비밀번호가 올바릅니다.
참고 : https://cloud.google.com/sql/docs/mysql/replication/managed-import-replication-from-external?hl=ko
반응형