[Azure] Synapse Spark pools Error: AVAILABLE_POOL_CAPACITY_EXCEEDED

에러 메세지

AVAILABLE_POOL_CAPACITY_EXCEEDED: Livy session has failed. Session state: Error. Error code: AVAILABLE_POOL_CAPACITY_EXCEEDED. Your job requested 12 vcores. However, the pool only has 0 vcores available out of quota of 12 vcores. Try ending the running job(s) in the pool, reducing the numbers of vcores requested, increasing the pool maximum size or using another pool. Source: User.

에러 내용

1. "Livy session has failed" : Livy 세션이 실패했다는 것을 나타냅니다. Livy는 대화형으로 빅데이터 작업을 실행할 수 있도록 도와주는 웹 기반 인터페이스입니다.

2. "Session state: Error" : 세션이 오류 상태에 있다는 것을 나타냅니다. 이것은 작업이 제대로 실행되지 않았거나 완료되지 않았음을 의미합니다.

3. "Error code: AVAILABLE_POOL_CAPACITY_EXCEEDED" : 실제 오류 코드입니다. 이 코드는 사용 가능한 풀 용량을 초과했음을 나타냅니다.

4. "Your job requested 12 vcores. However, the pool only has 0 vcores available out of quota of 12 vcores." : 여기서 중요한 부분입니다. 오류 메시지는 현재 실행 중인 작업이 12개의 가상 코어 (vcores)를 요청하였으나, 해당 풀(pool)에서는 0개의 가상 코어만 사용 가능하며 최대 할당량도 12개의 가상 코어인 것으로 나타납니다.

   현재 사용 중인 Apache Spark 풀의 크기는 소형 (4 vCore / 32 GB) - 3 노드, 할당된 vCore는 12

5. "Try ending the running job(s) in the pool, reducing the numbers of vcores requested, increasing the pool maximum size or using another pool." : 오류 해결 방안을 제안하는 부분입니다. 오류를 해결하기 위해서는 현재 풀에서 실행 중인 작업을 종료하거나, 요청하는 가상 코어 수를 줄이거나, 풀의 최대 크기를 늘리거나, 다른 풀을 사용하는 등의 조치를 취할 필요가 있습니다.

해결 방법

현재 풀에서 실행 중인 작업을 종료

가장 작은 크기로 사용하기 위해 만들어진 풀이었고, 해당 풀이 현재 잡고 있는 애플리케이션이 비정상적으로 종료되지 않은 상태였기 때문에 현재 풀에서 실행 중인 작업을 종료하는 방향으로 결정했다.

1. Synapse > Monitor > Analytics pools : Apache Spark pools 에서 해당하는 풀 선택

2. 실행 중인 애플리케이션 정보 확인

• 현재 가상 코어 12개가 이미 특정 사용자와 프로세스에 할당되어 있는 것을 알 수 있다.
• 해당 풀의 최대 코어 역시 12개이기 때문에 해당 풀을 다른 곳에서 실행하려고 하면 에러가 발생하게 된다.

3. 애플리케이션 실행 카드에서 종료하고자 하는 애플리케이션 이름을 선택하여 이동한 세부 페이지에서 왼쪽 상단의 '취소' 버튼을 누른다.
   

4. 해당 프로세스가 종료되고 프로세스에 할당되어 있던 vCore가 해제된다.
   

5. 정상적으로 해당 풀 사용이 가능해진다.