반응형 Database306 Mysql Shard 관련 참고 자료 - ADT 활용 예제1: MySQL Shard 데이터 재분배 http://tech.kakao.com/2016/07/01/adt-mysql-shard-rebalancing/ - 빌드하기 (Build) https://github.com/kakao/adt/blob/master/README_ko.md#빌드하기-build - 실행하기 https://github.com/kakao/adt/blob/master/README_ko.md#실행하기 Range 방식의 한계 특정 ID값을 기준으로, ID 범위에 따라 샤드를 .. 2018. 1. 15. load data infile로 cvs 타입 및 오류에 대한 대처 및 sed로 " 안의 , 제거하기 load data infile로 csv 파일 내용을 mysql 테이블로 import했는데 warning 개수가 넘 많다 -_-;; LOAD DATA INFILE '/var/lib/mysql-files/sample.csv' INTO TABLE sample FIELDS TERMINATED BY ',' IGNORE 1 LINES; Query OK, 12147957 rows affected, 65535 warnings (1 min 44.92 sec) show warnings; 로 경고 메세지를 확인하니 아래와 같이 테이블의 input colu.. 2018. 1. 10. MySQL Connection 명령어 및 항목 1. 모니터링 및 초기화 명령어 show status – MySQL 데이타베이스의 현재 상황show Processlist – MySQL 프로세스 목록show variables – 설정 가능한 모든 변수 목록flush logs – MySQL의 로그파일 초기화flush status – MySQL 상태정보 초기화flush thread – 쓰레드 캐시에 저장된 쓰레드 초기.. 2018. 1. 8. MySQL server has gone away 에러가 발생하는 원인 # MySQL server has gone away 에러가 발생하는 원인 - 커넥션이 끊어진 이후에 쿼리를 전송했을 때 - max_allowed_packet 을 초과하는 크기의 쿼리를 전송했을 때 - wait_timeout 을 초과하여 커넥션이 끊어진 경우 - 잘못된 쿼리를 지속적으로 전송하여 서버가 차단한 경우 대부분 MySQL 에 설정된 데이터 전송량이나 전송시간을 초과 하는 경우 발생합니다. 이런경우 MySQL 설정파일인 my.cnf 에서 아래 값을 변경해주시면됩니다. MySQL 기본값은 wait_timeout 8시간, max_allowed_packet 는 16M 입니다. wait_timeout = 28800 max_allowed_packet = 16777216 2017. 12. 27. MySQL MULTI INSERT 에서의 주의사항 INSERT ~ SELECT 를 통해 처리 하는 부분이 있을듯 하다. 직접 실행하거나 EVENT SCHEDULE 을 통한다거나 할경우에 해당 설정값에 영향을 받는것 같다. 옵션 항목중 max_allowed_packet 항목!!! 해당 항목을 서비스에 맞게 조절을 해서 사용하길 바람다. 기본값은 1M 이며 설정이 가능합니다. (아래는 256M .. 2017. 11. 24. utf8mb4 CHARSET (4 바이트 UTF-8 유니 코드 인코딩) 설정 # utf8 CHARSET ALTER TABLE table_name MODIFY column TEXT CHARACTER SET utf8; # utf8mb4 CHARSET (4 바이트 UTF-8 유니 코드 인코딩) 설정 utf8 이라는 문자 세트는 문자 당 최대 3 바이트를 사용하며 BMP 문자 만 포함합니다. MySQL 5.5.3부터 utf8mb4 문자 세트는 문자 당 최대 4 바이트를 사용하며 보조 문자를 지원합니다. .. 2017. 11. 16. my.cnf 설명 make my.cnf make my.cnf file as mysvc01 user. my.cnf : The file has system variables for DB environment. location of MariaDB SW in this docoment : /engn001/mysvc01/mariadb-10.0.26 location of my.cnf in this document: /engn001/mysvc01/MARIASVC/my.cnf my.cnf sample $ vi /engn001/mysvc01/MARIASVC/my.cnf ##---------------------------------------------------------------------------.. 2017. 11. 6. Seconds_Behind_Master Replication의 현재 상태의 빨리 확인하는 방법은 Show Slave Status의 Seconds_Behind_Master값을 확인해보는것이다 이 항목은 Slave가 얼마나 늦었는지 즉 동기화가 얼마나 늦어졌는지를 확인하는것이다.. slave가 update를 할 때, 이 필드는 Master에서 받은 로깅된 timestamp의 값과, 현재 slave에서 실행되는 .. 2017. 9. 29. 서버 SQL 모드 [sql mode] SQL 모드 설정 SET GLOBAL sql_mode = ' modes '; SET SESSION sql_mode = ' modes '; SELECT @@GLOBAL.sql_mode; SELECT @@SESSION.sql_mode; 가장 중요한 SQL 모드 가장 중요한 sql_mode 값은 아마도 다음과 같습니다. • ANSI 이 모드는 구문 및 동작을 변경하여 표준 SQL과보다 밀접하게 일치합니다. 이 절의 끝에 나열된 특수 조합 모드 중 하나입니다. • STRICT_TRANS_TABLES 값이 트랜잭션 테이블에 주어진대로 삽입 될 수 없으면 문을 중단하십시오. 비 트랜잭션 테이블의 경우, 값이 단일 행 문 또는 다중 행 문의 첫 번째 행에서 발생하면 명령문을 중단합니다. 자세한 내용은이 섹션 뒷부분에.. 2017. 9. 28. Performance Schema Quick Start 원문 : https://dev.mysql.com/doc/refman/5.6/en/performance-schema-quick-start.html 번역문 : https://translate.google.co.kr/translate?hl=ko&sl=en&u=https://dev.mysql.com/doc/refman/5.6/en/performance-schema-quick-start.html&prev=search 2017. 9. 28. Mysql 복제 동기화 선처리 작업 Master에서 Slave로 동기화하기를 위해서는 미리 Dump를 떠서 Slave 동기화할 서버에 복원해놓아야 합니다. Slave에서 Master로 동기화할 계정을 미리 Master에 생성해 놓으세요 Master 작업 mysql> show master status; +-----------------+-----------+--------------+------------------+-------------------+ | File | Pos.. 2017. 9. 26. MySQL 자료형 1 숫자 (NUMERIC)[] 자료형 한국어 바이트 크기 범위 TINYINT 아주 작은 정수 1 바이트 21×8=28=256 (signed) -128 ~ 127 (unsigned) 0 ~ 255 SMALLINT 작은 정수 2 바이트 22×8=216=65536 (signed) -32768 ~ 32767 (unsigned) 0 ~ 65535 MEDIUMINT 중간 정수 3 바이트 23×8=224=16777216 (약 1600만) (signed) -8388608 ~ 8388607 (unsigned) 0 ~ 16777215 IN.. 2017. 9. 11. 위도, 경도를 거리로 환산하기 출처 : https://m.blog.naver.com/PostView.nhn?blogId=njinka&logNo=220070035851&proxyReferer=http%3A%2F%2Fwww.google.co.kr%2Furl%3Fsa%3Dt%26rct%3Dj%26q%3D%26esrc%3Ds%26source%3Dweb%26cd%3D2%26ved%3D0ahUKEwjziMWIv5TWAhVCOrwKHZeJA04QFggrMAE%26url%3Dhttp%253A%252F%252Fm.blog.naver.com%252Fnjinka%252F220070035851%26usg%3DAFQjCNFxUfASpIWKG3vt80dMl0wEgb3Qkw [위도] 지구를 xy 좌.. 2017. 9. 8. GIS 위치 기반 비교를 위한 유틸리티 함수 출처 : http://intomysql.blogspot.kr/2010/12/gis.html GIS 위치 기반 비교를 위한 유틸리티 함수 MySQL의 GIS Extension을 사용하거나, 아니면, 기본 숫자형의 타입을 이용하여 위치 정보를 관리하는 경우, 특정 GPS 좌표로부터 반경 몇Km 이내의 좌료 정보를 검색하는 경우가 많이 발생한다. 그러한 조작들을 .. 2017. 9. 8. [MySQL] R-Tree 인덱스와 Fractal-Tree 인덱스 R-Tree 인덱스 아마도 MySQL의 공간 인덱스(Spatial Index)라는 말을 한번쯤 들어본 적이 있을 것입니다. 공간 인덱스는 R-Tree 인덱스 알고리즘을 이용해 2차원의 데이터를 인덱싱하고 검색하는 목적의 인덱스입니다. 기본적인 내부 메커니즘은 B-Tree와 흡사합니다. B-Tree는 인덱스를 구성하는 컬.. 2017. 9. 8. mysql general_log 기록 및 저장 방식 확인 및 설정 # 설정 상태 확인 # 저장방식 확인 : 현재는 Table DB에 기록하는방식입니다. # 기록 방식은 2가지 입니다. 1. 파일로 저장하는 방식 변경 mysql> set global log_output='FILE'; 2. DB에 기록하는 방식 변경 mysql> set global log_output='TABLE'; # 로그 기록 실행 및 종료 mysql> set global general_log = 0; // 로그 기.. 2017. 8. 21. 숫자,한글,키보드기본 특수문자 검사 #한글 숫자 키보드 위 특수 문자 검사 SELECT IF('한글123!@#!' REGEXP '^[!@#$%^&*()0-9가-힣]+$', 'y', 'n') ret; 2017. 8. 18. 하둡 에코시스템(Hadoop-Ecosystem)이란? 하둡 에코시스템(Hadoop-Ecosystem)이란? 앞선 포스트에서 하둡을 분산 프로그래밍 프레임워크라고 설명했는데, 하둡 에코시스템이 바로 그 프레임워크를 이루고 있는 다양한 서브 프로젝트들의 모임이라고 보면 된다. 아래 그림은 하둡 에코시스템을 나타낸 것이다. [그림 출처: 시작하세요!.. 2017. 7. 27. Mysql 1236 Error 해결법 [ERROR] Error reading packet from server: Could not open log file (server_errno=1236) [ERROR] Slave I/O: Got fatal error 1236 from master when reading data from binary log: 'Could not open log file', Error_code: 1236 # Mysql Replication 실행시 위로 같은 에러가 발생 했다면 Master에서 Position정보를 읽어오지 못해서 발생하는 에러이다 # Master의 포지션값을 확인하여 적용해준다. STOP SLAVE; CHANGE MASTER TO MASTER_HOST='HOST', MASTER_USER='USER', MAS.. 2017. 7. 21. innodb 설정관련 A. innodb_data_home_dir : 테이블스페이스 파일의 생성 위치 설정 B. innodb_data_file_path : 테이블스페이스 파일 명 및 크기, 옵션 설정 innordata1:256M:autoextend:max:2000M innordata1라는 파일명으로 생성되고 256MB의 고정크기로 최초 생성되며, 용량이 256MB가 넘을 경우 “autoextend”라는 옵션으로 자동으로 파일 크기가 확장되며, 최대 확장되는 크기는 MAX 옵션의 설정 값만큼 확장 C. innodb_autoextend_increment : autoextend 옵션으로 자동 확장되는 크기 지정, 디폴트는 8M D. innodb_file_per_table : 공용 테이블스페이스 사용 대신에 테이블 별 테이블스페이스 .. 2017. 6. 16. 이전 1 ··· 4 5 6 7 8 9 10 ··· 16 다음 반응형
