본문 바로가기
반응형

MySQL116

mysql Error_code: 1756 MySQL Error 1756(ER_MTS_INCONSISTENT_DATA)은 멀티스레드 슬레이브(MTS) 복제에서 슬레이브 코디네이터와 워커 스레드가 중지되어 데이터 일관성이 깨졌음을 나타내는 오류입니다. 이 오류는 복제된 데이터의 일관성이 깨져 슬레이브가 더 이상 정상적으로 작동할 수 없는 상태를 의미하며, 주로 원본 서버와 슬레이브 서버 간의 설정 차이, 데이터 불일치 등으로 인해 발생할 수 있습니다. 문제를 해결하려면 복제 시작 후 슬레이브 상태를 확인하고, 필요한 경우 슬레이브 재시작, 데이터 비교 및 일관성 복구 과정을 거쳐야 합니다. 오류의 원인멀티스레드 복제 중단:슬레이브 코디네이터와 워커 스레드가 비정상적으로 중지되면서 발생합니다. 데이터 불일치:마스터 서버와 슬레이브 서버 간의 데이.. 2025. 9. 1.
Mysql 트랜잭 동시성 제어와 락 이용방법 동시성 제어와 락은 데이터베이스 시스템에서 여러 개의 트랜잭션이 동시에 실행될 때 데이터의 일관성과 무결성을 유지하기 위한 기술입니다. 트랜잭션은 데이터베이스에서 원자적으로 실행되어야 하는 작업의 단위를 의미하며, 동시에 여러 개의 트랜잭션이 수행될 때 문제가 발생할 수 있습니다. 동시성 제어는 동시에 실행되는 트랜잭션들이 서로 간섭하지 않고 정확하게 실행되도록 보장하는 메커니즘입니다. 동시성 제어를 통해 데이터베이스 시스템은 다음과 같은 목표를 달성할 수 있습니다. 일관성 유지: 동시에 실행되는 트랜잭션들이 데이터베이스를 일관된 상태로 유지해야 합니다. 즉, 트랜잭션 간의 충돌이나 모순된 상태가 발생하지 않아야 합니다.격리 수준 제어: 동시에 실행되는 트랜잭션들이 서로에게 영향을 미치지 않고 독립적으로.. 2025. 8. 20.
Mysql TRANSACTION 동시 실행 관련 제어 MySQL 프로시저 내에서 트랜잭션을 사용하면 동시 실행 시 데이터 일관성을 유지하는 데 도움이 됩니다. 프로시저 내에서 트랜잭션을 사용하면 여러 쿼리를 원자적으로 처리하여 데이터베이스 상태를 일관되게 유지할 수 있습니다. 하지만, 동시 트랜잭션 실행 시에는 교착 상태(deadlock)나 락 경합(lock contention)과 같은 문제가 발생할 수 있으므로 주의해야 합니다. MySQL 프로시저에서 트랜잭션 사용: 프로시저는 여러 SQL 문을 그룹화하여 재사용 가능한 단위로 만드는 기능입니다. 트랜잭션은 이러한 SQL 문들을 원자적으로 처리하여 데이터베이스의 일관성을 보장합니다. 프로시저 내에서 트랜잭션을 사용하면 다음과 같은 장점이 있습니다. 데이터 무결성 보장:여러 쿼리를 하나의 트랜잭션으로 묶.. 2025. 8. 20.
MySQL과 Mroonga로 구현하는 강력한 한글 검색 엔진 MySQL과 Mroonga로 구현하는 강력한 한글 검색 엔진안녕하세요, 그동안 수많은 프로젝트에서 검색 시스템을 구축하며 쌓아온 경험을 바탕으로, 오늘은 MySQL과 Mroonga를 활용해 효율적이고 강력한 한글 검색 엔진을 구현하는 방법을 공유하려 합니다.대규모 서비스에서는 Elasticsearch 같은 전문 검색 엔진을 사용하는 경우가 많지만, 중소규모 프로젝트에서는 비용과 운영 복잡도로 인해 부담스러울 수 있습니다.이런 상황에서 MySQL과 Mroonga 조합은 적은 리소스로도 뛰어난 검색 성능을 제공하며, 특히 한글 검색에 최적화된 솔루션으로 자리 잡고 있습니다.이 가이드가 유용한 대상Elasticsearch 도입이 부담스러운 스타트업 개발자기존 MySQL/MariaDB 환경에서 검색 기능을 강화.. 2025. 6. 27.
The xtrabackup command-line options Mysql8 버젼 Xtrabackup 시 옵션 체크 하면 좋을것 같아서 스크랩합니다. Here you can find all of the command-line options for the xtrabackup binary.Modes of operation¶You invoke xtrabackup in one of the following modes:--backup mode to make a backup in a target directory--prepare mode to restore data from a backup (created in --backup mode)--copy-back to copy data from a backup to the location that contained the orig.. 2025. 6. 10.
Postgresql에서 실행계획을 볼 때 알면 도움이 되는 것들 정말 오랬만에 괜찮은 글을 찾은듯 해서 공유해봅니다. 설명 잘되어 있고 그리고 쉽게 이애가 가능한 조인 부분의 설명, 그리고 항상 중요하게 생각하는 쿼리 실행계획 부분에 대한 내용들, 이야기들이 있기 때문에 참고하면 좋을것 같아서 공유해봅니다. 원문 : https://joyfulviper.tistory.com/108 최근 백오피스에서 특정 쿼리의 성능이 너무 낮아 해당 쿼리의 실행계획을 보게 됐다. 이 과정속에서 알게된 내용을 기록하고자 한다. 보통 우리는 데이터를 영구적으로 저장하기 위해서 db를 사용한다. (파일 시스템을 써도 되기는 하지만.. dbms가 제공해주는 기능들을 생각하면 파일 시스템을 쓸 생각은 하지 못할 것이다) 이 때 데이터는 컴퓨터의 디스크에 저장이 된다. 아래는 제프딘의 컴.. 2025. 4. 25.
Foreign Key 에 대한 사용 유무 어떤게 좋을까? FK에 대한 기본적인 이야기 FK를 사용하지 않는 이유FK는 한 테이블이 다른 테이블을 참조하는 제약 조건이라 데이터 무결성을 보장하여 안전한 데이터 관리가 가능하다. 그러나 성능 저하를 유발할수도 있고, 복잡도 때문에 데이터베이스 운영 난이도를 높일 수 있다.성능 저하FK를 사용하지 않는 경우보다 FK를 사용할 경우 데이터 변경 시 더 많은 lock을 유발하기 때문에 동시성이 높은 상황에서 성능 저하가 발생할 우려가 있다. 데이터 변경이 빈번한 경우 성능 저하에 대한 문제가 더 많이 발생할 수 있다.유지 관리 어려움FK를 사용하면 데이터 변경이나 삭제 시 관련된 각 테이블 간의 연관성을 고려해야 한다. 테이블의 수가 증가하고 관계가 더 복잡해질수록 데이터 수정 작업은 점점 어려워진다. 그리고 FK가 적.. 2025. 3. 21.
Mysql 8.4 -> Mysql 8.0 다운 그레이드 mysqldump option–single-transaction : lock 을 걸지 않고도 dump 파일의 정합성 보장하는데 InnoDB 테이블이 아닌 MyISAM or MEMORY 테이블인 경우에는 여전히 상태가 변경 될 수 있다.MySQL에선 큰 테이블을 덤프하려면 –quick 옵션과 결합하기를 권장한다.–databases : dump 할 db명을 지정한다. 여러 개를 한번에 지정하는 것도 가능하다.–tables : dump 할 table명을 지정한다. 마찬가지로 여러 개를 한번에 지정 할 수 있다.# 전체 백업mysqldump --single-transaction --all-databases -h [db주소] -u [username] -p > backup_file.sql# 백업시 프로시저 및 이벤.. 2025. 3. 20.
Mysql - Foreign Key(외래키) 1. 외래키 (Foreign Key)란?외래키는 두 테이블을 서로 연결하는 데 사용되는 키이다.외래키가 포함된 테이블을 자식 테이블이라고 하고 외래키 값을 제공하는 테이블을 부모 테이블이라한다.2. 외래키 사용시 주의 사항1) 외래키 값은 NULL이거나 부모 테이블의 기본키 값과 동일해야한다. (참조 무결성 제약조건)2) 부모 테이블의 기본키, 고유키를 외래키로 지정할 수 있다.3) 부모 테이블의 기본키, 고유키가 여러개의 컬럼으로 이루어져 있다면 부모가 가진 기본키, 고유키 컬럼을 원하는 개수만큼 묶어서 외래키로 지정할 수 있다. CREATE TABLE `parent` ( `id1` INT(11) NOT NULL, `id2` INT(11) NOT NULL, `id3` INT(11) NOT NULL, `.. 2025. 3. 12.
MySQL - 외래키(Foreign Key) 의견. 외래키를 쓰지 않는 이유 관계형 DB에 관계가 단순할때는 문제가 없지만, 복잡한 관계를 맺으면 문제가 생긴다. 기본적으로 FK는 인덱스이다. UPDATE, DELETET시 외래키로 인해 성능 저하가 생긴다.부모테이블, 자식테이블 모두 해당 컬럼 인덱스 생성이 필요하고, 변경 시 부모/자식 테이블 데이터 체크 과정이 필요하여 잠금이 발생한다.데드락의 원인이 된다. (참고 : https://martin-son.github.io/Martin-IT-Blog/mysql/foreign%20key/performance/2022/02/28/foreign-key-Performance.html)확장성, 유연성이 좋지 못하다.설계 수정 같은 것을 하고 싶을때 병목이 된다.데이터베이스 schema 마이그래이션, 샤딩 할때 방.. 2025. 3. 12.
mysql_native_passwordMySQL 8.4에서 로드되지 않은 오류를 수정하는 방법 MySQL 8.4(2024년 기준 최신 LTS 릴리스)에 도입된 주요 변경 사항 중 하나는 "MySQL Native Password" 플러그인이 더 이상 기본적으로 활성화되지 않는다는 것입니다. 또한 MySQL 9.0은 이 플러그인을 완전히 제거합니다.이 변경 사항은 인증 플러그인과 함께 MySQL 데이터베이스를 사용하는 PHP 및 기타 애플리케이션에 영향을 미칩니다 mysql_native_password. mysql_native_password플러그인이 더 이상 기본적으로 로드되지 않거나 전혀 사용할 수 없기 때문에 PHP PDO/MySQLi 연결이 실패합니다.더 이상 로드되지 않은 플러그인을 사용하여 데이터베이스에 연결을 시도하면 mysql_native_passwordPDO/MySQLi는 MySQL에.. 2025. 3. 4.
Mysqldump 사용법 알아보 1. mysqldump 기본구조mysqldump -u[user_id] -p[user_pw] [option] [db_name] [tb_name] > [backup_file_name.sql]-u[user_id] : MariaDB 접속 계정-p[user_pw] : MairaDB 접속 비밀번호[option] : dump 옵션, 여러개 중첩이 가능[db_name] : 옵션 별 필요에 의한 Database 명칭[tb_name] : 옵션 별 필요에 의한 Table 명칭[backup_file_name.sql] :  백업받을 파일 명, 경로가 지정되지 않을 경우 스크립트를 실행하는 디렉토리에 파일 생성.2. 전체 데이터베이스 백업하기Option : --all-databases mysqldump -u[user_id] -p.. 2025. 3. 4.
MySQL 8.4 LTS 변경 내역 - Changes in MySQL 8.4.0 MySQL 8.4 LTS 버전InnoDB 파라미터 기본값 변경사항innodb_buffer_pool_in_core_fileinnodb_buffer_pool_instancesinnodb_change_bufferinginnodb_dedicated_serverinnodb_adaptive_hash_indexinnodb_doublewrite_filesinnodb_doublewrite_pagesinnodb_flush_methodinnodb_io_capacityinnodb_io_capacity_maxinnodb_log_buffer_sizeinnodb_numa_interleaveinnodb_page_cleanersinnodb_parallel_read_threadsinnodb_purge_threadsinnodb_read_.. 2025. 2. 27.
MySQL 8.0 업그레이드 - MySQL Upgrade pgrade PathsMySQL 8.0 으로 업그레이드는 5.7의 GA 버전에서만 지원되고 있습니다. (5.7.9 or higher) 그래서 5.7.9 이전 버전이라면 일단 5.7.9까지는 업그레이드나 마이그레이션 후 8.0 버전으로의 업그레이드를 진행해야 합니다.권장되는 것은 5.7버전의 가장 최근의 버전까지 업그레이드 이후 8.0 버전으로의 업그레이드입니다. 다른 버전 즉 5.6이나 그 이하의 버전에서는 8.0으로 Direct 업그레이드의 지원이 되지 않습니다.해당 포스팅에서는 MySQL 5.7.31에서 MySQL 8.0.23 버전으로 INPLACE 업그레이드의 내용이 기술되어 있습니다.               업그레이드 프로세스MySQL 서버 가 실행될 때 필요한 정보를 저장하는 테이블이 포함된 .. 2025. 2. 27.
MySQL 8.0 Upgrade 방법 및 참고사항 MySQL 5.7에서 8.0으로의 업그레이드는 주요한 데이터베이스 시스템 변경을 수반하며, 이 과정은 몇 가지 핵심 단계와 고려해야 할 중요한 포인트로 구성됩니다. 아래에서는 이 업그레이드 과정의 기본 배경, 주요 단계, 예상되는 도전 과제 및 이를 해결하기 위한 방안에 대해 상세하게 설명합니다.배경MySQL 8.0은 여러 새로운 기능과 개선사항을 제공합니다. 이는 보안 강화, 쿼리 실행 최적화, 새로운 데이터 타입의 지원, JSON 확장 및 성능 개선을 포함합니다. 또한, MySQL 8.0은 새로운 기본 문자 세트인 utf8mb4로의 전환을 포함하여, 국제화 및 다양한 언어 지원 면에서도 개선을 제공합니다.업그레이드 준비 단계업그레이드 필요성 인식: MySQL 5.7의 공식 지원 종료와 보안, 성능, .. 2025. 2. 25.
갑자기 Mysql slow_log crash 나는 이유는 무엇일까? Mysql 재구동을 했거나 운영중에 갑자기 slow_log crash 가 발생하는 경우가 있는데 어떤 이유때문에 이런 에러가 발생할까 궁금합니다. [ERROR] /usr/local/libexec/mysqld: Table 'slow_log' is marked as crashed and should be repaired  MySQL slow_log가 충돌하는 경우, slow_log 테이블이 손상되었을 경우니데요. 이유는 이런듯 합니다.   원인 하드디스크 용량 부족, query_time이 35일 이상인 경우.  위처럼 증상이 발생하는 이유는 인듯합니다. MySQL Administrator에서 slow query를 확인하려고 할 때 충돌  Select 시 "is marked as crashed and shou.. 2025. 2. 14.
부가세가 포함된 금액 역방향으로 원가 계산하기 안녕하세요. 부가세가 포함된 금액 역방향으로 원가 계산하고자 할경우을 고려해볼까 하는데요. 부가세 기본적으로 10%인데 만약 5% 일경우 부가세가 포함된 금액과 원가금액, 부가세를 구하고자 할경우 역방향 계상 방법은 어떻께 될까 확인해보겠습니다. 21000원 금액에 5%의 부가세금액이 포함되었다고 할때 역으로 금액을 기준으로 부가세 금액을 계산하는 공식을 만들볼까요? 부가세가 포함된 총 금액이 21,000원이고, 이 금액에 5%의 부가세가 포함되어 있다고 가정하면, 원래 금액과 부가세 금액을 구하는 공식입니다.원래 금액을 xx라고 하면, 부가세를 포함한 총 금액은 x+0.05x=1.05xx+0.05x=1.05x입니다.따라서, 1.05x=21,0001.05x=21,000.이를 풀면, x=21,0001.05.. 2025. 2. 6.
MySQL의 데이터를 엘라스틱서치와 싱크(sync)해서 빠른 검색과 분석을 하는 방법 원문 : https://blog.naver.com/ghostlover23/221644176875 관계형 데이터베이스(RDBMS)의 데이터를 엘라스틱서치로 저장하면 데이터의 검색을 빠르게 할 수 있는 여러 가지 작업이 자동으로 이루어집니다. 엘라스틱서치는 데이터를 인덱싱(indexing)하고 '샤드'라는 단위로 데이터를 쪼개서 여러 데이터 노드에 분산을 시키고, 만약에 복제본(replica) 세팅이 1 이상이면 일종의 read replica를 생성해서 역시 여러 데이터 노드에 분산시켜서 QPS를 향상시킵니다.  일단 엘라스틱서치에 인덱싱이 되면 강력한 Query api(https://www.elastic.co/guide/en/elasticsearch/reference/current/full-text-que.. 2024. 12. 16.
MariaDB DeadLock 확인 방 MariaDB를 사용하다 보면 쓰기작업으로 인해 DeadLock이 발생할 경우가 있다.Deadlock found when trying to get lock; try restarting transaction 1. DeadLock 분석 쿼리# 현재 LOCK이 걸려 대기중인 정보SELECT * FROM information_schema.INNODB_LOCK_WAITS;# LOCK을 건 정보SELECT * FROM information_schema.INNODB_LOCKS;# LOCK을 걸고 있는 프로세스 정보SELECT * FROM information_schema.INNODB_TRX;# InnoDB 상태SHOW ENGINE INNODB STATUS; 2. DeadLock 해결 팁- 테이블 접근 순서 정하기- .. 2024. 12. 12.
MySQL HA (Replication, Group Replication, Galera Cluster) mySQL의 HA(High Availabilty)를 위한 Replicaiton 기법은 다음과 같습니다.Master-Slave ReplicationGroup ReplicationGalera Cluster이 기법들에 대해서 알아보도록 하겠습니다.Master-Slave Replication하나의 Master DB와 다수의 Slave DB들을 통해 Replication을 수행하는 방식인데 Master는 Read/Write Mode로 동작하고 Slave들은 Read Mode로 동작합니다.이 말 뜻은 DB 변경 Query를 수신 받는 DB는 반드시 Master DB에게 변경 요청을 전달하고 Master DB는 변경 내용을 Slave DB에게 전달하여 복제를 수행한다는 말입니다. 그리고 Read 요청은 로드밸런서를 .. 2024. 12. 11.
반응형

티스토리툴바