BlockingQueue와 LinkedBlockingQueue: 동시성 프로그래밍의 핵심 컴포넌트

멀티스레드 프로그래밍은 현대 소프트웨어 개발에서 필수적인 요소입니다. 여러 스레드가 동시에 작업할 때 발생할 수 있는 데이터 일관성 문제와 경쟁 상태를 해결하기 위해 Java는 다양한 동시성 유틸리티를 제공합니다. 그중에서도 BlockingQueue는 특히 생산자-소비자 패턴을 구현할 때 매우 유용한 인터페이스입니다. 이 글에서는 BlockingQueue의 개념부터 가장 널리 사용되는 구현체인 LinkedBlockingQueue까지 상세히 살펴보겠습니다.

큐(Queue)의 기본 개념

BlockingQueue를 이해하기 전에 먼저 기본적인 큐(Queue)의 개념을 살펴볼 필요가 있습니다. 큐는 컬렉션 프레임워크의 일부로, FIFO(First-In-First-Out) 원칙에 따라 데이터를 저장하고 관리하는 자료구조입니다. 가장 먼저 들어온 요소가 가장 먼저 나가는 구조로, 일상생활에서 볼 수 있는 줄서기와 같은 개념이라고 생각하면 됩니다.

큐의 주요 작업은 다음과 같습니다:

• 요소 추가(enqueue): 큐의 끝(tail)에 새로운 요소를 추가합니다.
• 요소 제거(dequeue): 큐의 앞(head)에서 요소를 제거하고 반환합니다.
• 요소 확인(peek): 큐에서 요소를 제거하지 않고 앞에 있는 요소를 확인합니다.

일반적인 큐는 요소를 추가할 때 큐가 가득 차있거나, 요소를 가져올 때 큐가 비어있는 상황에 대한 특별한 처리가 없습니다. 예를 들어, 일반 큐에서 poll() 메서드를 호출할 때 큐가 비어있다면 단순히 null을 반환합니다. 이러한 방식은 멀티스레드 환경에서 효율적이지 않을 수 있습니다.

BlockingQueue란 무엇인가?

BlockingQueue는 Java 5부터 java.util.concurrent 패키지에 도입된 인터페이스로, 기존 Queue 인터페이스를 확장하여 blocking 기능을 추가한 것입니다. '블로킹'이라는 용어는 특정 조건이 충족될 때까지 스레드의 실행을 일시 중지시키는 것을 의미합니다.

BlockingQueue의 핵심 특징은 다음과 같습니다:

1. 블로킹 연산

BlockingQueue의 가장 중요한 특징은 이름에서 알 수 있듯이 '블로킹' 기능입니다. 이는 두 가지 상황에서 발생합니다:

• 큐가 가득 찼을 때 요소를 추가하려고 하면, 공간이 생길 때까지 스레드가 블로킹됩니다.
• 큐가 비어있을 때 요소를 가져오려고 하면, 새로운 요소가 추가될 때까지 스레드가 블로킹됩니다.

이러한 블로킹 기능은 생산자-소비자 패턴을 구현할 때 특히 유용합니다. 생산자는 큐가 가득 찼을 때 자동으로 대기하고, 소비자는 큐가 비었을 때 자동으로 대기하므로 명시적인 조건 체크와 대기 로직을 구현할 필요가 없습니다.

2. 스레드 안전성

BlockingQueue의 모든 구현체는 스레드 안전합니다. 이는 여러 스레드가 동시에 같은 큐에 접근해도 데이터 일관성이 보장된다는 의미입니다. 내부적으로 동기화 메커니즘을 사용하여 동시 접근 문제를 해결합니다.

3. 다양한 연산 모드

BlockingQueue는 요소 추가와 제거 작업에 대해 네 가지 다양한 동작 방식을 제공합니다:

• 예외 발생(Throws Exception): 작업을 즉시 수행할 수 없으면 예외를 발생시킵니다.

  • add(e): 요소 추가, 실패 시 IllegalStateException 발생
  • remove(): 요소 제거, 실패 시 NoSuchElementException 발생
  • element(): 요소 확인, 실패 시 NoSuchElementException 발생

• 특수 값 반환(Special Value): 작업을 즉시 수행할 수 없으면 특수 값(null 또는 false)을 반환합니다.

  • offer(e): 요소 추가, 실패 시 false 반환
  • poll(): 요소 제거, 큐가 비어있으면 null 반환
  • peek(): 요소 확인, 큐가 비어있으면 null 반환

• 블로킹(Blocks): 작업을 수행할 수 있을 때까지 무기한 대기합니다.

  • put(e): 요소 추가, 공간이 생길 때까지 블로킹
  • take(): 요소 제거, 요소가 추가될 때까지 블로킹

• 타임아웃(Times Out): 지정된 시간 동안만 대기하고, 그 시간 내에 작업을 수행할 수 없으면 특수 값을 반환합니다.

  • offer(e, time, unit): 요소 추가, 지정 시간 내에 실패하면 false 반환
  • poll(time, unit): 요소 제거, 지정 시간 내에 요소가 없으면 null 반환

BlockingQueue의 주요 구현체

Java는 BlockingQueue 인터페이스의 다양한 구현체를 제공합니다. 각 구현체는 서로 다른 특성과 성능 특징을 가지고 있어 상황에 따라 적절한 구현체를 선택해야 합니다.

1. ArrayBlockingQueue

ArrayBlockingQueue는 배열을 기반으로 한 고정 크기의 BlockingQueue 구현체입니다. 생성 시 반드시 최대 크기를 지정해야 하며, 생성 후에는 크기를 변경할 수 없습니다.

주요 특징:

• 고정 크기 배열 기반
• FIFO(First-In-First-Out) 방식
• 생성 시 반드시 용량 지정 필요
• 단일 ReentrantLock을 사용하여 동기화

2. LinkedBlockingQueue

LinkedBlockingQueue는 연결 리스트(LinkedList)를 기반으로 한 BlockingQueue 구현체입니다. 선택적으로 최대 크기를 지정할 수 있으며, 지정하지 않으면 Integer.MAX_VALUE까지 확장 가능합니다.

주요 특징:

• 연결 리스트 기반
• FIFO(First-In-First-Out) 방식
• 최대 크기 지정 가능(기본값은 Integer.MAX_VALUE)
• 별도의 putLock과 takeLock을 사용하여 동기화
• ArrayBlockingQueue보다 락 경합(contention)이 적어 높은 동시성 환경에서 성능이 우수

3. PriorityBlockingQueue

PriorityBlockingQueue는 우선순위 큐를 구현한 무한 크기의 BlockingQueue입니다. 요소들은 자연 순서(natural ordering)나 생성자에 제공된 Comparator에 따라 정렬됩니다.

4. SynchronousQueue

SynchronousQueue는 내부 용량이 없는 특별한 BlockingQueue입니다. 각 삽입 작업은 다른 스레드의 제거 작업과 동기화되어야 합니다. 즉, 생산자가 요소를 넣으려면 소비자가 그 요소를 가져갈 준비가 되어 있어야 합니다.

LinkedBlockingQueue 심층 분석

LinkedBlockingQueue는 실제 업무 환경에서 가장 널리 사용되는 BlockingQueue 구현체 중 하나입니다. 이 구현체가 특별한 이유와 내부 동작 방식을 자세히 살펴보겠습니다.

LinkedBlockingQueue의 구조와 특징

LinkedBlockingQueue는 이름에서 알 수 있듯이 연결 리스트 기반의 큐 구현체입니다. 각 요소는 노드 형태로 저장되며, 각 노드는 다음 노드에 대한 참조를 유지합니다.

public class LinkedBlockingQueue extends AbstractQueue
        implements BlockingQueue, java.io.Serializable {
    // ...
}

LinkedBlockingQueue의 주요 특징은 다음과 같습니다:

1. 두 개의 독립적인 락(Lock) 사용: LinkedBlockingQueue는 putLock과 takeLock이라는 두 개의 독립적인 ReentrantLock을 사용합니다. 이는 삽입 작업과 제거 작업이 서로 방해하지 않고 동시에 실행될 수 있게 해줍니다.

2. 높은 처리량: 두 개의 독립적인 락을 사용하기 때문에 ArrayBlockingQueue보다 락 경합이 적어 높은 동시성 환경에서 더 높은 처리량을 제공합니다.

3. 동적 크기 조정: 기본적으로 LinkedBlockingQueue는 Integer.MAX_VALUE까지 확장 가능한 무한 용량을 가집니다. 그러나 생성자를 통해 최대 크기를 지정할 수도 있습니다.

4. FIFO 순서 보장: 요소들은 항상 FIFO(First-In-First-Out) 순서로 처리됩니다. 큐의 head에는 가장 오래된 요소가, tail에는 가장 최근에 추가된 요소가 위치합니다.

LinkedBlockingQueue vs ArrayBlockingQueue

왜 많은 경우에 LinkedBlockingQueue가 ArrayBlockingQueue보다 선호될까요? 두 구현체의 주요 차이점은 다음과 같습니다:

1. 동기화 방식: ArrayBlockingQueue는 하나의 ReentrantLock을 사용하여 모든 작업(삽입, 제거)을 동기화합니다. 반면 LinkedBlockingQueue는 두 개의 독립적인 락(putLock, takeLock)을 사용하여 삽입과 제거 작업을 분리합니다. 이로 인해 LinkedBlockingQueue는 높은 동시성 환경에서 더 나은 성능을 제공합니다.

2. 크기 제한: ArrayBlockingQueue는 생성 시 크기가 고정되며 나중에 변경할 수 없습니다. LinkedBlockingQueue는 기본적으로 무한 크기이지만, 선택적으로 최대 크기를 지정할 수 있습니다.

3. 메모리 사용: ArrayBlockingQueue는 생성 시 모든 배열 공간을 미리 할당하기 때문에 초기 메모리 사용량이 크지만, 요소 추가/제거 시 메모리 할당/해제가 발생하지 않습니다. LinkedBlockingQueue는 요소가 추가될 때마다 새 노드를 생성하고 제거될 때마다 노드를 해제하므로 동적인 메모리 관리가 필요합니다.

4. 성능 특성: LinkedBlockingQueue는 일반적으로 ArrayBlockingQueue보다 높은 처리량을 제공하지만, 성능은 애플리케이션의 특성에 따라 달라질 수 있습니다. 높은 동시성이 요구되는 환경에서는 LinkedBlockingQueue가 좋은 선택이 될 수 있습니다.

BlockingQueue의 실제 활용 사례

BlockingQueue, 특히 LinkedBlockingQueue는 다양한 실제 애플리케이션에서 유용하게 활용됩니다. 몇 가지 대표적인 사용 사례를 살펴보겠습니다.

1. 생산자-소비자 패턴 구현

BlockingQueue의 가장 일반적인 사용 사례는 생산자-소비자 패턴을 구현하는 것입니다. 여러 생산자 스레드가 큐에 작업을 추가하고, 여러 소비자 스레드가 큐에서 작업을 가져와 처리하는 구조입니다.

import java.util.concurrent.BlockingQueue;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.atomic.AtomicInteger;
import java.util.logging.Logger;

public class ProducerConsumerExample {
    public static void main(String[] args) {
        BlockingQueue queue = new LinkedBlockingQueue<>(10);
        
        // 생산자 스레드 시작
        new Thread(() -> {
            try {
                for (int i = 0; i  {
            try {
                while (true) {
                    Integer value = queue.take(); // 큐가 비어 있으면 블로킹
                    System.out.println("소비: " + value);
                    Thread.sleep(200);
                }
            } catch (InterruptedException e) {
                Thread.currentThread().interrupt();
            }
        }).start();
    }
}

이 예제에서 생산자는 0부터 99까지의 숫자를 큐에 넣고, 소비자는 큐에서 숫자를 가져와 처리합니다. 생산자는 큐가 가득 차면 자동으로 블로킹되고, 소비자는 큐가 비어 있으면 자동으로 블로킹됩니다.

2. 작업 스케줄링

BlockingQueue는 작업 스케줄러나 스레드 풀에서 작업을 관리하는 데도 사용됩니다. Java의 ThreadPoolExecutor는 내부적으로 BlockingQueue를 사용하여 작업 큐를 구현합니다.

3. 데이터 스트림 처리

실시간 데이터 스트림을 처리하는 애플리케이션에서 BlockingQueue는 데이터 버퍼링에 사용될 수 있습니다. 데이터가 도착하는 속도와 처리하는 속도가 다를 때, BlockingQueue를 사용하여 데이터를 임시 저장하고 안정적으로 처리할 수 있습니다.

LinkedBlockingQueue 효과적으로 사용하기

LinkedBlockingQueue를 효과적으로 사용하기 위한 몇 가지 팁을 알아보겠습니다.

1. 적절한 용량 설정

LinkedBlockingQueue는 기본적으로 Integer.MAX_VALUE라는 거의 무한대에 가까운 용량을 가집니다. 그러나 실제 사용 시에는 애플리케이션의 특성과 가용 메모리를 고려하여 적절한 최대 용량을 설정하는 것이 좋습니다.

// 용량을 1000으로 제한한 LinkedBlockingQueue
BlockingQueue queue = new LinkedBlockingQueue<>(1000);

2. 적절한 타임아웃 설정

리소스 누수를 방지하고 응답성을 유지하기 위해 블로킹 작업에 타임아웃을 설정하는 것이 좋습니다. offer()와 poll() 메서드의 타임아웃 버전을 사용하면 지정된 시간 동안만 대기하도록 할 수 있습니다.

// 최대 5초 동안 요소 추가 시도
boolean added = queue.offer(task, 5, TimeUnit.SECONDS);
if (!added) {
    // 타임아웃 발생 시 처리
}

// 최대 3초 동안 요소 가져오기 시도
Task task = queue.poll(3, TimeUnit.SECONDS);
if (task == null) {
    // 타임아웃 발생 시 처리
}

3. 예외 처리

BlockingQueue의 블로킹 메서드(put, take)는 InterruptedException을 발생시킬 수 있습니다. 이 예외를 적절히 처리하여 스레드 인터럽트 상태를 유지하는 것이 중요합니다.

try {
    queue.put(task);
} catch (InterruptedException e) {
    // 인터럽트 상태 복원
    Thread.currentThread().interrupt();
    // 필요한 정리 작업 수행
}

결론

BlockingQueue, 특히 LinkedBlockingQueue는 멀티스레드 환경에서 스레드 간 안전한 데이터 교환을 위한 강력한 도구입니다. 생산자-소비자 패턴을 간단하게 구현할 수 있게 해주며, 스레드 동기화에 관한 복잡한 코드를 작성할 필요 없이 스레드 안전성을 보장합니다.

LinkedBlockingQueue는 두 개의 독립적인 락을 사용하여 높은 동시성 환경에서 뛰어난 성능을 제공하며, 동적으로 크기가 조정되는 특성으로 유연성도 갖추고 있습니다. 이러한 특징 때문에 많은 백엔드 시스템, 특히 대규모 동시 요청을 처리해야 하는 시스템에서 널리 사용됩니다.

Reference

• https://catromi.tistory.com/entry/Java-BlockingQueue
• https://sumni.tistory.com/339
• https://kkoon9.tistory.com/531
• https://ywoosang.tistory.com/31
• https://do-study.tistory.com/39
• https://snow-line.tistory.com/126
• https://learn.microsoft.com/ko-kr/dotnet/api/java.util.concurrent.linkedblockingqueue?view=net-android-34.0
• https://k-sky.tistory.com/715