본문 바로가기
Database/MYSQL

[Google Cloud]복제를 위한 Cloud SQL 및 외부 서버 구성

by 반화넬 2023. 3. 27.
반응형

 

 

용어

  • 외부 서버. 데이터를 복제하려는 Cloud SQL 외부의 MySQL 서버입니다. 소스 데이터베이스 또는 외부 데이터베이스 서버라고도 합니다. 다른 Cloud SQL 인스턴스이거나 온프레미스, Amazon 관계형 데이터베이스 서비스(RDS) 등과 같은 다른 데이터베이스 서버일 수 있습니다.
  • 소스 표현 인스턴스. Cloud SQL 복제본에 대한 외부 서버를 나타내는 Cloud SQL 인스턴스의 모델입니다. Google Cloud 콘솔에서 볼 수 있고 일반 Cloud SQL 인스턴스와 비슷하게 표시되지만 데이터를 포함하거나, 구성 또는 유지보수가 필요하거나, 결제에 영향을 주지 않습니다.
  • Cloud SQL 복제본. 외부 서버에서 복제하는 Cloud SQL 인스턴스. 외부 기본 읽기 복제본이라고도 합니다.
  • 복제 사용자 계정. 외부 서버와 Cloud SQL 복제본 간의 복제를 허용할 권한이 충분한 외부 서버의 MySQL 사용자 계정.
  • 관리형 가져오기. 외부 서버에서 Cloud SQL 복제본으로 직접 데이터를 가져오는 프로세스입니다. 이 경우 Cloud SQL은 복제 사용자 계정을 사용하여 외부 서버에 연결하고 외부 서버에서 직접 데이터 덤프를 실행하여 Cloud SQL 복제본으로 서버를 가져옵니다.

Google Cloud 프로젝트 설정

  1. 사용자 계정에 Cloud SQL 관리자, 스토리지 관리자, Compute 뷰어 역할이 있는지 확인합니다.
  2. IAM 페이지로 이동

Google Cloud SDK 설치

복제를 구성하려면 외부 서버에 대해 Google Cloud SDK를 설치합니다. 이미 다른 곳에 설치되어 있지 않은 한 외부 서버에 SDK를 설치할 수 있습니다.

복제용 외부 서버 설정

외부 서버 체크리스트

  • MySQL 5.5, 5.6, 5.7, 8.0이 외부 서버에 설치되었는지 확인합니다. MySQL Community Edition, MySQL용 Cloud SQL, Amazon Aurora, Amazon RDS의 MySQL이 지원됩니다.
    • Cloud SQL 복제본에서 외부 서버에서 실행되는 MySQL 버전과 같거나 더 높은 주 버전의 MySQL을 사용해야 합니다.
    • MySQL 5.5가 외부 서버에 설치되면 GTID가 지원되지 않습니다.
  • 바이너리 로그가 사용 설정되어 있는지와 다음을 확인합니다.
  • 외부 서버에 GTID가 사용 설정되었는지 확인합니다. 이것은 복제 설정을 위해 수행해야 하는 단계에 영향을 줍니다.
  • 외부 서버에 전역 읽기 잠금 권한이 있는지 확인합니다. 이것은 복제 설정을 위해 수행해야 하는 단계에 영향을 줍니다.
  • Cloud SQL 복제본에 비공개 IP가 사용될 경우 Cloud SQL 복제본이 비공개 네트워크로 사용할 VPC 네트워크의 비공개 서비스 액세스에 대한 내부 IP 범위 할당을 허용하도록 외부 서버의 방화벽을 구성합니다.
  • 외부 서버에 DEFINER 절(뷰, 이벤트, 트리거 또는 저장 프로시져)이 포함된 경우 이러한 문이 실행되는 순서에 따라 복제가 실패할 수 있습니다. Cloud SQL의 DEFINER 사용 및 가능한 해결 방법에 대해 자세히 알아보세요.
  • InnoDB는 Cloud SQL에서 유일하게 지원되는 스토리지 엔진입니다. MyISAM을 사용하여 마이그레이션하면 데이터 불일치가 발생할 수 있으므로 데이터 유효성을 검사해야 합니다. 자세한 내용은 MySQL 문서의 MyISAM에서 InnoDB로 테이블 변환을 참조하세요.

참고: Amazon RDS에서 복제하는 경우 다음을 수행합니다.

  • Amazon RDS를 사용하는 외부 서버에서는 대부분의 경우에 GTID를 지원하지 않지만 MySQL 5.7용 GTID를 지원합니다.
  • Amazon RDS 및 Amazon Aurora를 사용하는 외부 서버에서는 전역 읽기 잠금 권한을 지원하지 않습니다.

바이너리 로그 보관 구성

최소 24시간 동안 바이너리 로그를 유지하도록 외부 서버를 구성해야 합니다.

외부 서버가 MySQL Community Edition을 사용하는 경우 다음 MySQL 명령어를 사용해서 바이너리 로그 보관 설정을 업데이트할 수 있습니다.

복제 사용자 계정 만들기

Cloud SQL 복제본에 대한 복제 관리 전용의 MySQL 사용자 계정이 외부 서버에 있어야 합니다. 이 사용자 계정은 복제를 관리하는 데만 사용해야 합니다. 사용하는 마이그레이션 방법에 따라 나중에 사용자에게 권한을 부여해야 할 수 있습니다.

복제 사용자 계정을 추가하려면 외부 서버에서 터미널을 열고 다음 MySQL 명령어를 입력합니다.

 
      CREATE USER 'USERNAME'@'%' IDENTIFIED BY 'PASSWORD';
      GRANT SELECT, SHOW VIEW ON *.* TO 'USERNAME'@'HOST';
      FLUSH PRIVILEGES;
속성설명
USERNAME 외부 서버의 복제 사용자 계정입니다.
PASSWORD 복제 사용자 계정의 비밀번호입니다.
HOST 모든 호스트 연결을 허용하려면 %로 설정합니다. 이후 단계에서 Cloud SQL 복제본의 연결만 수락하도록 변경됩니다.

소스 표현 인스턴스 설정

소스 표현 인스턴스는 외부 서버를 참조합니다. 여기에는 외부 서버의 요청 데이터만 포함됩니다. 요청 데이터를 만들고 Cloud SQL에서 소스 표현 인스턴스를 만드는 curl 명령어에 사용합니다.

요청 데이터 만들기

요청 데이터에는 JSON 형식의 소스 데이터베이스 서버에 대한 기본 정보가 포함됩니다. 요청 데이터는 공개 또는 비공개 네트워크의 Cloud SQL 복제본에 대해 구성될 수 있으며 다음 정보를 포함해야 합니다.

 
    {
      "name": "SOURCE_NAME",
      "region": "REGION",
      "databaseVersion": "DATABASE_VERSION",
      "onPremisesConfiguration": {
        "hostPort": "SOURCE_HOST",
        "username": "USERNAME",
        "password": "PASSWORD",
        "caCertificate": "SOURCE_CERT",
        "clientCertificate": "CLIENT_CERT",
        "clientKey": "CLIENT_KEY"
      }
    }
속성설명
SOURCE_NAME 생성할 소스 표현 인스턴스의 이름입니다.
REGION 소스 표현 인스턴스를 배치할 리전입니다.
DATABASE_VERSION 외부 서버에서 실행되는 데이터베이스 버전입니다. 옵션은 MYSQL_5_6, MYSQL_5_7, MYSQL_8_0입니다. .
SOURCE HOST 외부 서버의 IPv4 주소 및 포트 또는 외부 서버의 DNS 주소입니다. DNS 주소를 사용하는 경우 최대 60자까지 포함할 수 있습니다. 외부 서버가 Cloud SQL에서 호스팅되는 경우 포트는 3306입니다.
USERNAME 외부 서버의 복제 사용자 계정입니다.
PASSWORD 복제 사용자 계정의 비밀번호입니다.
BUCKET 덤프 파일이 포함된 버킷의 이름입니다. Cloud Storage 버킷에 있는 덤프 파일로 복제를 설정하는 경우에만 포함합니다.
DUMP_FILE 외부 서버의 데이터가 포함된 버킷의 파일입니다.
CLIENT_CA_CERT 외부 서버의 CA 인증서입니다. 외부 서버에서 SSL/TLS가 사용되는 경우에만 포함합니다.
CLIENT_CERT 외부 서버의 클라이언트 인증서. 서버-클라이언트 인증에만 필요합니다. 외부 서버에서 SSL/TLS가 사용되는 경우에만 포함합니다.
CLIENT_KEY 외부 서버에 있는 클라이언트 인증서의 비공개 키 파일입니다. 서버-클라이언트 인증에만 필요합니다. 외부 서버에서 SSL/TLS가 사용되는 경우에만 포함합니다.

소스 표현 인스턴스를 만들기

이 단계를 시작하기 전에 소스 요청 데이터가 포함된 JSON 파일을 생성해야 합니다.

그런 다음 Cloud SQL에서 소스 표현 인스턴스를 만들려면 터미널을 열고 다음 명령어를 실행합니다.

 
    gcloud auth login
    ACCESS_TOKEN="$(gcloud auth print-access-token)"
    curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
         --header 'Content-Type: application/json' \
         --data @JSON_PATH \
         -X POST \
         https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT-ID/instances
속성설명
PROJECT_ID Google Cloud의 프로젝트 ID입니다.
JSON_PATH 외부 서버에 대한 요청 데이터가 포함된 JSON 파일의 경로입니다.

Cloud SQL 복제본 설정

Cloud SQL 복제본에 결국 외부 서버의 데이터가 포함됩니다. 이 단계에서는 요청 데이터를 만들고 Cloud SQL에서 Cloud SQL 복제본을 만드는 curl 명령어에 사용합니다.

요청 데이터 만들기

요청 데이터에는 외부 서버 및 Cloud SQL 복제본에 대한 기본 정보가 JSON 형식으로 포함됩니다. 요청 데이터는 공개 또는 비공개 네트워크의 Cloud SQL 복제본에 대해 구성될 수 있으며 다음 정보를 포함해야 합니다.

 
    {
        "settings": {
            "tier": "TIER",
            "dataDiskSizeGb": "DISK_SIZE",
            "ipConfiguration": {
                "privateNetwork": "projects/PROJECT_ID/global/networks/NETWORK_NAME"
             },
             "availabilityType": "AVAILABILITY_TYPE"
        },
        "masterInstanceName": "SOURCE_REPRESENTATION_INSTANCE_NAME",
        "region": "SOURCE_REGION",
        "databaseVersion": "DATABASE_VERSION",
        "name": "REPLICA_NAME"
    }
속성설명
TIER 복제본 인스턴스를 호스팅할 머신 유형 사용할 머신 유형을 모르는 경우 db-custom-2-7680로 시작합니다. 필요한 경우 나중에 크기 및 기타 지원되는 값을 변경할 수 있습니다.
DISK_SIZE Cloud SQL 복제본의 스토리지 크기(GB)입니다.
PROJECT_ID Google Cloud의 프로젝트 ID입니다. Cloud SQL 복제본이 비공개 네트워크에 있는 경우에만 ipConfiguration을 포함합니다.
NETWORK_NAME Cloud SQL 복제본에 사용할 비공개 네트워크의 이름입니다.
AVAILABILITY_TYPE Cloud SQL 복제본의 가용성 유형입니다. 기본값은 ZONAL입니다. 복제본을 HA로 만들려면 값을 REGIONAL로 설정합니다. 허용되는 값에 대한 자세한 내용은 SqlAvailabilityType을 참조하세요.
외부 서버 HA 복제본을 만든 후에는 이를 비HA 복제본으로 변경할 수 없습니다. 반대의 경우도 마찬가지입니다. 외부 서버 비HA 복제본을 HA 복제본으로 변경할 수 없습니다.
인스턴스가 아직 초기 데이터를 로드할 때 수동 장애 조치를 시도하면 마이그레이션이 복구할 수 없는 상태로 되거나 인스턴스가 소스에서 이미 복제되는 경우 일시적인 다운타임이 발생할 수 있습니다. 복제 상태를 확인합니다.
SOURCE_REPRESENTATION_INSTANCE_NAME 소스 표현 인스턴스의 이름입니다.
SOURCE_REGION 소스 표현 인스턴스에 할당된 리전입니다.
DATABASE_VERSION Cloud SQL 복제본에서 사용할 데이터베이스 버전입니다. 옵션은 MYSQL_5_6, MYSQL_5_7, MYSQL_8_0입니다. 이는 외부 서버에서 실행 중인 데이터베이스 버전과 일치할 수도 있고 최대 한 버전 높을 수도 있습니다.
REPLICA_NAME 만들 Cloud SQL 복제본의 이름입니다.

Cloud SQL 복제본 만들기

이 단계를 시작하기 전에 복제본 요청 데이터가 포함된 JSON 파일을 생성해야 합니다. 그런 다음 Cloud SQL 복제본을 만들려면 Cloud Shell 터미널을 열고 다음 명령어를 실행합니다.

 
    gcloud auth login
    ACCESS_TOKEN="$(gcloud auth print-access-token)"
    curl --header "Authorization: Bearer ${ACCESS_TOKEN}" \
         --header 'Content-Type: application/json' \
         --data @JSON_PATH \
         -X POST \
         https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT-ID/instances
속성설명
PROJECT_ID Google Cloud에서 소스 인스턴스와 동일해야 하는 프로젝트의 ID입니다.
JSON_PATH Cloud SQL 복제본에 대한 요청 데이터가 포함된 JSON 파일의 경로입니다.

설정 확인

인스턴스가 올바르게 설정되었는지 확인하려면 Cloud SQL 인스턴스 페이지로 이동합니다.

다음과 비슷한 목록에 소스 표현 인스턴스 및 Cloud SQL 복제본이 표시됩니다.

인스턴스 ID유형공개 IP
(-) source-representation-instance 데이터베이스 외부 기본 10.68.48.3:3306
복제 인스턴스 데이터베이스 읽기 복제본 34.66.48.59

또한 Cloud SQL 복제본에 대한 cloudsql.instances.migrate 권한이 있어야 합니다. 이 권한은 cloudsql.admin 또는 cloudsql.editor IAM 역할에 포함되어 있습니다.

Cloud SQL 복제본에 사용자를 추가합니다.

참고: Cloud SQL 복제본에 데이터베이스 사용자 계정을 추가할 필요가 없는 경우 이 단계를 건너뛸 수 있습니다.

외부 서버에서 데이터베이스 사용자 계정을 가져올 수 없지만 Cloud SQL 복제본에서 이를 만들 수 있습니다. 외부 서버에서 복제하기 전에 이 작업을 수행합니다.

Cloud SQL 복제본의 발신 IP 주소 확인

Cloud SQL 복제본의 발신 IP 주소를 사용하여 외부 서버와 Cloud SQL 복제본 간의 보안 연결을 만들 수 있습니다. 이 IP 주소에 대한 요금은 청구되지 않습니다.

복제본의 발신 IP 주소를 가져오려면 다음을 수행합니다.

  1. Google Cloud Console에서 Cloud SQL 인스턴스 페이지로 이동합니다.
  2. Cloud SQL 인스턴스로 이동
  3. Cloud SQL 복제본의 공개 IP 주소 옆에 있는 추가 정보 도움말 위에 마우스 포인터를 올려놓고 발신 IP 주소를 검색합니다.
  4. 발신 IP 주소는 Google Cloud 콘솔에서 복제본의 기본 목록에 표시되는 IP 주소가 아닙니다.

외부 서버에서 들어오는 연결 허용

복제가 성공하려면 Cloud SQL 복제본이 외부 서버에 연결되어야 합니다. 다음 조건이 적용되는 경우 Cloud SQL 복제본의 발신 IP 주소에서 연결을 수락하도록 외부 서버의 네트워크 방화벽을 구성해야 합니다.

  • 외부 서버가 방화벽 뒤에 있거나 일부 다른 네트워크 제한이 적용됩니다.
  • Cloud SQL 복제본이 공개 IP를 사용합니다.

Cloud SQL 복제본에 연결하려면 복제본의 기본 IP 주소를 사용합니다. 이 IP 주소는 Google Cloud 콘솔에 표시됩니다.

Cloud SQL 복제본으로 복제할 수 있도록 소스 표현 인스턴스 업데이트

Cloud SQL 복제본의 소스 표현 인스턴스를 설정한 후에는 소스 표현 인스턴스를 업데이트해야 할 수 있습니다. 예를 들어 다음과 같은 경우 구성을 업데이트해야 합니다.

  • 외부 서버의 호스트, 포트 또는 IP가 변경된 경우
  • 다른 MySQL 복제 사용자를 사용하려는 경우
  • MySQL 복제 사용자의 비밀번호가 변경된 경우
  • 외부 서버에 안전하게 연결하는 데 사용되는 SSL 인증서가 변경된 경우

Cloud SQL 복제본 시드

외부 서버에서 Cloud SQL 복제본으로 데이터 초기 로드를 수행하기 위한 세 가지 옵션이 있습니다.

  • 관리형 가져오기에는 외부 서버에서 데이터를 추출하고 Cloud SQL 인스턴스로 직접 가져오는 서비스가 사용됩니다. Cloud SQL에서는 이 옵션이 권장됩니다. 외부 서버가 전역 트랜잭션 식별자(GTID) 복제를 사용하지 않는 경우 이 옵션을 사용해야 합니다. 자세한 내용은 관리형 가져오기를 사용하여 외부 데이터베이스에서 복제 설정을 참조하세요.
  • 덤프 파일의 경우 외부 서버의 덤프 파일을 만들고 이를 Cloud Storage 버킷으로 이동하고, Cloud SQL로 가져와야 합니다. 외부 서버가 GTID 복제를 사용하는 경우에만 이 옵션을 사용할 수 있습니다. 자세한 내용은 덤프 파일을 사용하여 외부 데이터베이스에서 복제 설정을 참조하세요.
  • 커스텀 가져오기의 경우 Cloud SQL을 기본 인스턴스로 만들고, 원하는 도구를 사용해서 커스텀 데이터 가져오기를 수행하고, 이를 Cloud SQL 복제본으로 등급을 낮춘 후, 외부 서버 복제를 설정해야 합니다. 이 옵션은 수 테라바이트 규모에 해당하는 데이터베이스 마이그레이션에 가장 적합하지만 GTID 복제를 사용해야 합니다. 자세한 내용은 커스텀 가져오기를 사용하여 대규모 외부 데이터베이스에서 복제 설정을 참조하세요.

나에게 적합한 옵션 선택

복제 모니터링

Cloud SQL 복제본은 초기 데이터 로드를 완료하면 외부 서버에 연결하고 내보내기 작업 후 실행된 모든 업데이트를 적용합니다. 복제 상태를 확인합니다.

복제본을 독립 실행형 인스턴스로 승격하기 전에 복제 상태를 확인하는 것이 중요합니다. 복제 프로세스가 성공적으로 완료되지 않으면 승격된 복제본에 외부 서버의 모든 변경사항이 포함되지 않습니다.

복제 지연이 0에 가깝지 않은 경우 이를 해결하기 위한 단계를 수행합니다. /postgresql/external_sync/initial_sync_complete, postgresql/external_sync/max_replica_byte_lag, database/replication/state 측정항목을 확인하는 것이 좋습니다. Cloud SQL 측정항목 목록을 확인합니다.

Cloud SQL 복제본이 외부 서버를 따라잡고 Cloud SQL 복제본에 복제 지연이 없으면 데이터베이스에 연결합니다. 적절한 데이터베이스 명령어를 실행하여 외부 서버와 비교할 때 콘텐츠가 예상대로인지 확인합니다. 필요한 검증이 완료될 때까지 외부 서버를 보존합니다.

복제본 승격

다음 단계를 수행하여 복제본을 승격합니다.

  1. 복제본을 기본 인스턴스로 승격. GTID 및 바이너리 로그가 사용 설정되고 승격된 복제본에 예약된 백업이 사용 설정됩니다.
  2. 인스턴스에 읽기 복제본 추가
  3. 선택사항: 고가용성(HA)에 대한 인스턴스 구성. 추가 다운타임을 방지하려면 AVAILABILITY_TYPE을 REGIONAL로 설정하여 복제본을 설정하는 동안 HA를 사용 설정할 수 있습니다.

 

참고 : https://cloud.google.com/sql/docs/mysql/replication/configure-replication-from-external?hl=ko

반응형