데이터엔지니어링 공부를 하며 OpenSearch 사용을 하던 중, cluster_block_exception이 발생헀다.
더 자세한 에러 로그는 아래와 같다.
"error":{"root_cause":[{"type":"cluster_block_exception","reason":"index [~] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block];"}],"type":"cluster_block_exception","reason":"index [~] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block];"},"status":429..
클러스터의 디스크 사용량이 임계치를 초과해 데이터 쓰기 작업이 막힌 건데,
정말 간단한 실습용으로 하는 중이었기에 데이터 양이 많지 않아 왜 이러한 에러가 발생했는지는 의문이었다.
해결방법
curl -X PUT "${host IP주소:포트번호}/_all/_settings" -H "Content-Type: application/json" -d '{"index.blocks.read_only_allow_delete": null}'위 curl명령을 날려줌으로써 일단 해결은 됐는데, 근본적인 해결방법은 아님
curl -X GET "http://<ES_HOST>:<ES_PORT>/_cluster/stats"
위 명령을 통해 클러스터 상태를 더 자세히 볼 수 있었고, 근본적 원인을 찾았다
알고보니 EC2 용량이 터지기 직전이었다. ㅎ.ㅎ...
뭣 모르고 만들어둔 EC2 서버 상에서 이것저것 하고 있었는데, 초기 디스크 용량을 저렇게 작게 해둔 줄 몰랐다.
볼륨 조정을 해야겠다.
v ^_^ v