😡 Emoji와 MySQL Collate

해당 포스트는 MySQL 5.7.27 버전을 기반으로 작성되었습니다.

난 평소에 이모지를 자주 쓴다 🤖. 내가 관리하는 블로그 제목처럼, 특히 제목에 주로 붙혀서 쓰곤 한다. 그런데 이 이모지라는 친구는 데이터베이스만 만나면 골치 아프게 만든다. 최근 골치 아팠던 경험과 해결 방안을 적어보고자 한다.

우리가 이야기하는 유니코드는 대개 UTF-8인 경우가 많은데, UTF-8은 위키피디아에 따르면 1~4바이트를 이용하는 가변 길이 문자형 표현 방식이다. 문제는 MySQL이 utf8 인코딩을 MySQL에서 3바이트짜리 가변 인자로 구현했기 때문에 발생한다. 🤬 이 문제를 해결한 인코딩이 utf8mb4 이고, 대개 이모지 관련한 문제는 해결 된다.

내가 마주한 문제는 이것과 조금 달랐다. 어쩌다보니 이모지가 포함된 문자열을 쿼리해야 하는 일이 생겼는데, 이모지 '만' 있는 문자열을 쿼리할 때에 이런 문제가 발생했다.

다음과 같은 row가 있는 필드에서, title이 🤔 인 Row만 쿼리를 이용해 받아오고 싶었다.

그래서 다음과 같이 쿼리를 날렸고, 결과는 다음과 같았다

SELECT * FROM collate_test WHERE title='🤔';

뭔가 이상하다. 하나만 리턴되어야 하는데, 이모지의 개수가 같은 모든 row가 반환되었다.

다음과 같이 실행하면 이모지 2개인 모든 row가 반환된다.

SELECT * FROM collate_test WHERE title='🤖🐍';

MySQL에는 문자열을 다루는 속성이 크게 character set과 collation이 있는데, utf8mb4의 기본 collation이 utf8mb4_general_ci, case-insentive collation이기 때문에 생기는 문제이다.

MySQL의 collation이란 문자열을 mysql에서 어떻게 다루려 하는지에 대한 설정이다. 이를 ci (case-insentive) 로 설정하게 되면, 문자열을 binary 그대로 비교하지 않고 나름의 규칙을 세워 비교하게 된다.

문제는 주로 사용하는 utf8mb4_general_ci나 utf8mb4_unicode_ci 모두 이모지를 같은 문자로 가정하고 비교하게 된다는 것이다. 그래서 위처럼 이모지로만 이루어진 문자의 경우, 문자열의 길이가 같은 모든 문자를 반환하게 되는 것이다.

해당 문제를 SQL단에서 해결하고자 한다면, 해당 테이블의 collate를 utf8mb4_bin 으로 변경해 주면 된다.

ALTER TABLE collate_test
    CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;

이후 정상적으로 쿼리 결과가 나오는 것을 볼 수 있다.

SELECT * FROM collate_test WHERE title='🤔';

쿼리에서만 사용했지만, 만일 어쩌다 보니 emoji가 포함된 쿼리에 Unique를 걸 일이 생긴다면 사전에 오작동을 방지할 수 있다. collate 기준을 이용하여 unique 한지 판단하기 때문이다.