Clean Code #13 동시성

객체는 처리의 추상화다. 스레드는 일정의 추상화다.
동시성과 깔끔한 코드는 양립하기 어렵다.
단일 스레드 프로그래밍은 상대적으로 쉬운 편에 속한다.
다중 스레드 코드도 맘만 먹으면 코드를 쉽게 작성할 수 있다.

하지만 쉽게 작성한 다중 스레드 코드는 시스템의 부하가 큰 환경에서 코드 내부 깊숙한 곳부터 발생한 문제가 있을 수 있다.

동시성이 필요한 이유

동시성은 무엇과 언제를 분리하는 전략이다.
단일 스레드 프로그램을 생각해보자.
Breakpoint를 걸어놓기만 하면 언제 무엇을 하는지 명확하게 잡아낼 수 있다.
무엇과 언제를 분리하면 프로그램 구조와 효율이 극적으로 나아진다.

구조적인 관점에선 거대한 루프 하나가 아니라 작은 단위의 프로그램 여러 개가 협업하는 것과 같기 때문에 시스템을 이해하기 쉽고 문제를 분리하기도 쉽다.

동시성을 채택하는 이유는 여러 가지가 있다.
1. 각 스레드에게 독립적인 영역을 할당해야 하는 경우

• 서블릿은 요청이 들어오면 비동기적으로 명령을 수행하고, 다른 서블릿 스레드와는 무관하게 동작한다.

2. Response time / Throughput 개선

• 크롤러 프로그램이 한 번에 한 웹 사이트를 방문하여 정보를 가져온다고 할 때,
• 방문할 웹사이트를 추가한 만큼 정보를 수집하는 시간도 늘어나게 된다.
• 단일 스레드인 경우 한 번에 한 페이지만을 방문하겠지만 다중 스레드 알고리즘을 활용하면 여러 페이지를 동시에 방문하여 수집 성능을 높일 수 있다.

결론은 병렬 처리가 필요한 때 동시성을 채택한다는 것이다.

동시성에 대한 오해

1. 동시성은 항상 더 좋은 처리 성능을 보여준다?

• 여러 프로세서가 동시에 처리해야 하는 독립적인 명령이 충분히 많은 경우에만 성능이 향상된다.

2. 동시성을 구현해도 설계는 그대로다?

• 단일/다중 스레드 시스템은 설계부터 매우 다르다.
• 일반적으로 무엇과 언제를 분리하면 시스템 구조가 크게 달라진다.

3. 웹 컨테이너를 사용하면 동시성을 이해하지 않아도 된다?

• 컨테이너의 동작 방식을 이해해야 더 효율적인 시스템을 만들 수 있다.
• 공유 메모리나 데드락과 같은 전형적인 동시성 문제를 어떻게 피할 수 있는지 알아야 한다.

반대로 다음은 동시성에 대해서 타당한 의견이다.

1. 동시성은 부하를 유발한다.

• 성능 측면에서 부하가 걸리고 일반적으로 코드도 더 길다.

2. 동시성은 복잡하다.

• 간단한 문제도 해결하기 어려울 수 있다.

3. 동시성 버그는 재현하기 어렵다.

• 재현의 어려움으로 인해 결함이 아니라 일시적 문제로 여길 가능성이 있다.

4. 동시성을 구현하려면 근본적인 설계 전략을 세워야 한다.

난관

동시성이 어려운 이유를 알아보자.

public class Document {
    private int readCount;

    public int getReadCountAndPlus() {
        return ++readCount;
    }
}

위의 코드를 두 개의 스레드가 동시에 접근하면 이상한 값이 튀어나온다.

1. 스레드 1이 readCount = 43일 때 getReadCountAndPlus를 실행한다.
2. 스레드 2가 readCount = 43일 때 getReadCountAndPlus를 실행한다.

당연히 readCount의 값은 44가 되어야 할 것 같은데, 실제로는 43이 나온다.
코드로만 보면 대체 어느 경로로 진입하기에 저런 결과가 나올까? 하는 생각을 할 수 있다.
바이트 코드만 고려했을 때 두 스레드가 getReadCountAndPlus를 실행하는 경로는 최대 12,870개나 된다.
readCount를 int 대신 long으로 사용하면 경우의 수가 2,704,156개로 증가한다.

동시성 방어 원칙

단일 책임 원칙 (Single Responsibility Principle)

동시성은 복잡하기 때문에 다른 코드와 분리해야 한다.

• 동시성 코드는 독자적인 개발, 변경, 조율 주기가 있어야 한다.
• 동시성 코드에서는 단일 스레드 코드에서 겪지 못하는 난관이 있다.
• 잘못 구현한 동시성 코드는 상상 이상으로 다양하게 실패한다.

자료 범위를 제한하라

자바는 synchronized 키워드로 임계구역을 보호할 수 있다.
이하는 임계구역을 최대한 줄여야 하는 이유이다.

1. synchronized 키워드를 잊어버려 데이터를 수정하는 로직이 망가질 수 있다.
2. 모든 임계구역을 보호했는지 확인하는 데에 시간이 소모된다.
3. 임계구역에서 발생하는 버그는 찾아내기 어렵다.

자료 사본을 이용하라

공유 데이터를 줄이는 제일 좋은 방법은 하나도 사용하지 않는 것이다.
공유하는 대신 원본 객체를 복사해서 사용하는 방법을 고려해보자.

• 임계구역 보호에 소모되는 비용
• 사본을 생성하고 GC에 드는 비용
  후자가 전자보다 나은 경우가 더 많다.

스레드는 가급적 독립적으로 구현하라

독립적인 스레드는 몇 가지 조건을 충족한다.

1. 다른 스레드와 데이터를 공유하지 않는다.
2. 각 스레드는 클라이언트의 요청 하나를 처리한다.
3. 공유되지 않은 인스턴스 데이터만을 사용하고 로컬 변수로 저장한다.

라이브러리를 이해하라

언어가 제공하는 클래스를 검토하라.
자바 5로 스레드 코드를 구현한다면 고려해야 할 것들

• 스레드 환경에 안전한 컬렉션을 사용한다. (자바 5부터 제공)
• 서로 무관한 작업을 수행할 때는 executer 프레임워크를 사용한다.
• 가능하면 스레드가 차단(blocking)되지 않는 방법을 사용한다.
• 일부 클래스 라이브러리는 스레드에 안전하지 못하다.

스레드 환경에 안전한 컬렉션 java.util.concurrent

java.util.concurrent 패키지가 제공하는 클래스는 다중 스레드 환경에서 사용해도 안전하며, 성능도 좋다.
ConcurrentHashMap은 거의 모든 상황에서 HashMap보다 빠르다.
동시 읽기/쓰기를 지원하며, 자주 사용하는 복합 연산을 다중 스레드 상에서 안전하게 만든 메서드로 제공한다.

ReentrantLock	한 메서드에서 잠그고 다른 메서드에서 푸는 락(lock)이다.
Semaphore	전형적인 세마포어다. 개수(count)가 있는 락이다.
CountDownLatch	지정한 수만큼 이벤트가 발생하고 나서야 대기 중인 스레드를 모두 해제하는 락이다. 모든 스레드에게 동시에 공평하게 시작할 기회를 준다.

실행 모델을 이해하라

언어	사용
한정된 자원 (Bound Resource)	다중 스레드 환경에서 사용하는 자원. 크기나 숫자가 제한적이다. ex) 데이터베이스 연결, 길이가 일정한 읽기/쓰기 버퍼
상호 배제 (Mutual Exclusion)	한 번에 한 스레드만 공유 자료나 공유 자원을 사용할 수 있는 경우를 가리킨다.
기아 (Starvation)	스레드가 오래 혹은 영원히 자원을 기다린다. ex) 짧은 스레드에게 우선순위를 준다면, 긴 스레드가 기아 상태에 빠진다.
데드락 (Deadlock)	스레드가 서로 끝나기를 기다린다. 모든 스레드가 각기 필요한 자원을 다른 스레드가 점유해 어느쪽도 진행하지 못한다.
라이브락 (Livelock)	락을 거는 단계에서 각 스레드가 서로를 방해한다. 오래 혹은 영원히 진행하지 못한다.

• 다중 스레드 애플리케이션에서 사용하는 실행 모델
  생산자-소비자 (Producer-Consumer)
  읽기-쓰기 (Readers-Writers)
  * 식사하는 철학자들 (Dining Philosophers)

동기화하는 메서드 사이에 존재하는 의존성을 이해하라

공유 객체 하나에는 메서드 하나만 사용하라.
동기화하는 메서드 사이에 의존성이 존재하면 동시성 코드에 찾아내기 어려운 버그가 생긴다. 자바 언어는 개별 메서드를 보호하는 synchronized를 지원한다.

공유 객체 하나에 여러 메서드가 필요하다면?

• 클라이언트에서 잠금
  클라이언트에서 첫 번째 메서드를 호출하기 전에 서버를 잠근다. 마지막 메서드를 호출할 때까지 잠금을 유지한다.

• 서버에서 잠금
  서버에 ‘서버를 잠그고 모든 메서드를 호출한 후 잠금을 해제하는 메서드’를 구현한다. 클라이언트는 이 메서드를 호출한다.
• 연결 서버
  잠금을 수행하는 중간 단계를 생성한다. ‘서버에서 잠금’방식과 유사하지만 원래 서버는 변경하지 않는다.

동기화하는 부분을 최대한 작게 만들어라

자바에서 synchronized 키워드를 사용하면 락을 설정한다.
같은 락으로 감싼 모든 코드 영역은 한 번에 한 스레드만 실행이 가능하다.
락은 스레드를 지연시키고 부하를 가중시키므로, 여기저기 synchronized문을 남발하면 안 된다.
반면, critical section은 반드시 보호해야 한다. 따라서 코드를 짤 때는 critical section의 수를 최대한 줄인다.
critical section 개수를 줄인다고 크기를 키우면 스레드 간에 경쟁이 늘어나고 프로그램 성능이 떨어진다.

올바른 종료 코드는 구현하기 어렵다

종료 코드를 개발 초기부터 고민하고 동작하게 초기부터 구현하라.
생각보다 어려우므로 이미 나온 알고리즘을 검토하라.

스레드 코드 테스트 하기

문제를 노출하는 테스트 케이스를 작성하라. 프로그램 설정과 시스템 설정과 부하를 바꿔가며 자주 돌려라. 테스트가 실패하면 원인을 추적하라. 그냥 넘어가면 절대로 안 된다.

말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라.

시스템 실패를 ‘일회성’이라 치부하지 마라.

다중 스레드를 고려하지 않는 순차 코드부터 제대로 돌게 만들자.

스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시에 디버깅 하지 마라.
스레드 환경 밖에서 코드를 올바로 돌려라.

다중 스레드를 쓰는 코드 부분은 다양한 환경에 쉽게 끼워넣을 수 있도록 구현하라.

다양한 설정에서 실행할 목적으로 구현하라.

다중 스레드를 쓰는 코드부분을 상황에 맞춰 조절할 수 있게 작성하라.

적절한 스레드 개수를 조율하기 쉽게 코드를 구현한다.
프로그램이 돌아가는 도중에 스레드 개수를 변경하는 방법도 고려한다.
프로그램 처리율과 효율에 따라 스스로 스레드 개수를 조율하는 코드도 고민한다.

프로세서 수보다 많은 스레드를 돌려보라.

스와핑이 잦을수록 critical section을 빼먹은 코드나 데드락을 일으키는 코드를 찾기 쉬워진다.

다른 플랫폼에서 돌려보라.

처음부터 그리고 자주 모든 목표 플랫폼에서 코드를 돌려라.

코드에 보조코드(instrument)를 넣어 돌려라. 강제로 실패를 일으키게 해보라.

스레드 코드에서 오류를 찾기란 쉽지 않다. 간단한 테스트로는 버그가 드러나지 않는다.
이유는 수천 가지 경로 중 아주 소수만 실패하고, 실패하는 경로가 실행될 확률은 저조하기 때문이다.
드물게 발생하는 오류를 좀 더 자주 일으키려면, 보조 코드를 추가해 코드가 실행되는 순서를 바꿔준다.
ex) Object.wait(), Object.sleep(), Object.yield(), Object.priority()
각 메서드는 스레드가 실행되는 순서에 영향을 미친다. 따라서 버그가 드러날 가능성도 높아진다.
잘못된 코드라면 가능한 초반에 그리고 가능한 자주 실패하는 편이 좋다.

스레드 테스트를 위해 코드에 보조 코드를 추가하는 방법

직접 구현하기

코드에다 직접 wait(), sleep(), yield(), priority()를 추가한다.
까다로운 코드를 테스트할 때 적합하다.

public synchronized String nextUrlOrNull() {
	if(hasNext()) {
		String url = urlGenerator.next();
		Thread.yield(); // 테스트를 위해 추가
		updateHasNext();
		return url;
	}
	return null;
}

yield()를 삽입하면 코드가 실행되는 경로가 바뀐다. 이전에 실패하지 않았던 코드가 실패할 가능성을 열어준다.
코드가 실패한다면 yield()를 추가했기 때문이 아니다. 원래 잘못된 코드인데 증거가 드러났을 뿐이다.

자동화

jiggle(흔들기) 기법을 사용해 오류를 찾아내라.
ThreadJigglePoing.jiggle() 호출은 무작위로 sleep이나 yield를 호출한다.

#clean code#