탐욕 알고리즘 (Greedy Algorithm)

Greedy Algorithm(탐욕 알고리즘)은 말 그대로 선택의 순간마다 당장 눈앞에 보이는 최적의 상황만을 쫓아 최종적인 해답에 도달하는 방법입니다.

탐욕 알고리즘으로 문제를 해결하는 방법은 다음과 같이 단계적으로 구분할 수 있습니다.

1. 선택 절차(Selection Procedure): 현재 상태에서의 최적의 해답을 선택합니다.
2. 적절성 검사(Feasibility Check): 선택된 해가 문제의 조건을 만족하는지 검사합니다.
3. 해답 검사(Solution Check): 원래의 문제가 해결되었는지 검사하고, 해결되지 않았다면 선택 절차로 돌아가 위의 과정을 반복합니다.

일상 생활에서 적용되는 탐욕 알고리즘은 무엇이 있을까요?

35kg 까지 물건을 담을 수 있는 가방이 있는데, 담아야 할 물건들은 다음과 같습니다. 가치있는 물건을 우선적으로 담아야 합니다.

• 피아노 🎹 : 30kg , $3,000
• 반지 💎 : 15kg , $1,500
• 게임기 🎮 : 20kg, $2,000
• 스쿠터 🛵 : 25kg, $2,5000

탐욕 알고리즘을 사용한다면 문제는 다음과 같습니다.

1. 가방에 넣을 수 있는 물건 중 가장 비싼 물건을 넣습니다.
2. 그다음으로 넣을 수 있는 물건 중 가장 비싼 물건을 넣습니다. 이 과정을 반복합니다.

가방은 35kg까지 담을 수 있고, 피아노가 가장 비싸니 피아노를 먼저 가방에 담을 수 있습니다. 남는 공간이 5kg밖에 남지 않아 담을 수 있는 물건이 없습니다. 그리고 이 때, 총 가치는 피아노 하나의 가치와 같은 $3,000입니다.

만약 피아노 대신 게임기와 반지를 가방에 담았다면 어떨까요? 35kg이 넘지 않으면서 총 가치는 $3,500으로 피아노 하나만 담을 때보다 더 많은 가치의 물건을 담을 수 있습니다.

탐욕 알고리즘은 문제를 해결하는 과정에서 매 순간, 최적이라 생각되는 해답(locally optimal solution)을 찾으며, 이를 토대로 최종 문제의 해답(globally optimal solution)에 도달하는 문제 해결 방식입니다. 그러나 위 예시와 같이 항상 최적의 결과를 보장하지는 못한다는 점을 알아야 합니다.

따라서 두 가지의 조건을 만족하는 "특정한 상황" 이 아니면 탐욕 알고리즘은 최적의 해를 보장하지 못합니다. 탐욕 알고리즘을 적용하려면 해결하려는 문제가 다음의 2가지 조건을 성립하여야 합니다.

• 탐욕적 선택 속성(Greedy Choice Property) : 앞의 선택이 이후의 선택에 영향을 주지 않습니다.
• 최적 부분 구조(Optimal Substructure) : 문제에 대한 최종 해결 방법은 부분 문제에 대한 최적 문제 해결 방법으로 구성됩니다.

탐욕 알고리즘은 항상 최적의 결과를 도출하는 것은 아니지만, 어느 정도 최적에 근사한 값을 빠르게 도출할 수 있는 장점이 있습니다. 이 장점으로 인해 탐욕 알고리즘은 근사 알고리즘으로 사용할 수 있습니다.

---

구현

머릿속으로 생각한 알고리즘을 프로그래밍 언어로 구현할 수 있어야 합니다. 저는 아직도 그게 너무나 어렵습니다...

구현 능력을 보는 두 가지 기준이 있다고 합니다. 첫 번째는 완전 탐색(brute force) 이며, 두 번째는 시뮬레이션(simulation) 입니다.

완전 탐색은 가능한 모든 경우의 수를 전부 확인하여 문제를 푸는 방식입니다.

시뮬레이션은 문제에서 요구하는 복잡한 구현 요구 사항을 하나도 빠트리지 않고 코드로 옮겨, 마치 시뮬레이션을 하는 것과 같은 모습을 그립니다.

완전 탐색

모든 문제는 완전 탐색으로 풀 수 있습니다. 이 방법은 굉장히 단순하고 무식하지만 "답이 무조건 있다"는 강력함이 있습니다.

예를 들어, 양의 정수 1부터 100까지의 임의의 요소가 오름차순으로 하나씩 담긴 배열 중, 원하는 값 N을 찾기 위해서는 배열의 첫 요소부터 마지막 요소까지 전부 확인을 한다면 최대 100 번의 탐색 끝에 원하는 값을 찾을 수 있습니다.

그러나, 문제 해결을 할 때엔 기본적으로 두 가지 규칙을 적용합니다.

• 문제를 해결할 수 있는가?
• 효율적으로 동작하는가?

완전 탐색은 첫 번째 규칙을 만족시킬 수 있는 강력한 무기이지만 두 번째 규칙은 만족할 수 없는 경우가 있습니다.

양의 정수 1부터 100까지의 임의의 요소가 오름차순으로 하나씩 담긴 배열 중, 원하는 값 N을 찾으시오. 단, 시간 복잡도가 O(N)보다 낮아야 합니다.

이 경우, 최악의 경우 100 번을 시도해야 하는 완전 탐색은 두 번째 규칙을 만족할 수 없습니다.

완전 탐색은 단순히 모든 경우의 수를 탐색하는 모든 경우를 통칭합니다. 완전히 탐색하는 방법에는 brute Force(조건/반복을 사용하여 해결), 재귀, 순열, DFS/BFS 등 여러 가지가 있습니다.

시뮬레이션

시뮬레이션은 모든 과정과 조건이 제시되어, 그 과정을 거친 결과가 무엇인지 확인하는 유형입니다. 문제에 대한 이해를 바탕으로 제시하는 조건을 하나도 빠짐없이 처리해야 정답을 받을 수 있습니다. 하나라도 놓친다면 통과할 수 없게 되고, 길어진 코드 때문에 헷갈릴 수도 있으니 주의해야 합니다.

---

동적 계획법(Dynamic Programming, DP)

동적 계획법 알고리즘은 탐욕 알고리즘과 같이 작은 문제에서부터 출발한다는 점은 같습니다.

그러나 탐욕 알고리즘이 매 순간 최적의 선택을 찾는 방식이라면, Dynamic Programming은 모든 경우의 수를 조합해 최적의 해법을 찾는 방식입니다.

원리는 주어진 문제를 여러 개의 하위 문제로 나누어 풀고, 하위 문제들의 해결 방법을 결합하여 최종 문제를 해결하는 문제 해결 방식입니다.

하위 문제를 계산한 뒤 그 해결책을 저장하고, 나중에 동일한 하위 문제를 만날 경우 저장된 해결책을 적용해 계산 횟수를 줄입니다. 다시 말해, 하나의 문제는 단 한 번만 풀도록 하는 알고리즘입니다.

두 조건이 만족하는 경우에 동적 계획법을 사용할 수 있습니다.

• 큰 문제를 작은 문제로 나눌 수 있고, 이 작은 문제가 중복해서 발견된다. (Overlapping Sub-problems)
• 작은 문제에서 구한 정답은 그것을 포함하는 큰 문제에서도 같다. 즉, 작은 문제에서 구한 정답을 큰 문제에서도 사용할 수 있다. (Optimal Substructure)

큰 문제를 작은 문제로 나눌 수 있고, 이 작은 문제가 중복해서 발견된다 (Overlapping Sub-problems) 는 큰 문제로부터 나누어진 작은 문제는 큰 문제를 해결할 때 여러 번 반복해서 사용될 수 있어야 한다 는 말과 같습니다. 이를 확인하기 위해, 피보나치 수열을 예로 살펴보겠습니다.

7번째 피보나치 수 fib(7) 를 구하는 과정은 다음과 같습니다.

fib(7) = fib(6) + fib(5)
fib(7) = (fib(5) + fib(4)) + fib(5) // fib(6) = fib(5) + fib(4)
fib(7) = ((fib(4) + fib(3)) + fib(4)) + (fib(4) + fib(3)) // fib(5) = fib(4) + fib(3)
.....

피보나치 수열은 위 예시처럼 동일한 계산을 반복적으로 수행해야 합니다. 이 과정에서 fib(5) 는 두 번, fib(4) 는 세 번, fib(3) 은 다섯 번의 동일한 계산을 반복합니다. 이렇게 작은 문제의 결과를 큰 문제를 해결하기 위해 여러 번 반복하여 사용할 수 있을 때, 부분 문제의 반복(Overlapping Sub-problems)이라는 조건을 만족합니다.

그러나 이 조건을 만족하는지 확인하기 전에, 한 가지 주의해야 할 점이 있습니다. 주어진 문제를 단순히 반복 계산하여 해결하는 것이 아니라, 작은 문제의 결과가 큰 문제를 해결하는 데에 여러 번 사용될 수 있어야 합니다.

두 번째 조건인 작은 문제에서 구한 정답은 그것을 포함하는 큰 문제에서도 동일하다. 즉, 작은 문제에서 구한 정답을 큰 문제에서도 사용할 수 있다(Optimal Substructure). 에 대해 살펴보겠습니다.

이 조건에서 말하는 정답은 최적의 해결 방법(Optimal solution)을 의미합니다. 따라서 두 번째 조건을 달리 표현하면, 주어진 문제에 대한 최적의 해법을 구할 때, 주어진 문제의 작은 문제들의 최적의 해법(Optimal solution of Sub-problems)을 찾아야 합니다. 그리고 작은 문제들의 최적의 해법을 결합하면, 결국 전체 문제의 최적의 해법(Optimal solution) 을 구할 수 있습니다.

Recursion + Memoization

동적 계획법은 하위 문제의 해결책을 저장한 뒤, 동일한 하위 문제가 나왔을 경우 저장해 놓은 해결책을 이용합니다.

이때 결과를 저장하는 방법을 Memoization이라고 합니다. Memoization의 정의는 컴퓨터 프로그램이 동일한 계산을 반복해야 할 때, 이전에 계산한 값을 메모리에 저장함으로써 동일한 계산의 반복 수행을 제거하여 프로그램 실행 속도를 빠르게 하는 기술 입니다.

재귀와 메모를 이용한 피보나치 풀이는 이전에 포스팅한 글을 가져왔습니다!

시간 복잡도를 개선한 피보나치 수열(memoization)

n이 커질수록 계산해야 할 과정은 선형으로 늘어나기 때문에 시간 복잡도는 O(N) 이 됩니다.

Memorization을 사용하지 않고 재귀 함수로만 문제를 풀 경우, n이 커질수록 계산해야 할 과정이 두 배씩 늘어나 시간 복잡도가 O($2^n$) 이 되는 것과 비교하였을 때, 다이내믹 프로그래밍의 강점을 확인할 수 있습니다.

피보나치 수열에서 fib(7)을 구하기 위해 fib(6)을, fib(6)을 구하기 위해 fib(5)을 호출합니다.

이런 풀이 과정이 마치, 위에서 아래로 내려가는 것과 같습니다.

큰 문제를 해결하기 위해 작은 문제를 호출한다고 하여, 이 방식을 Top-down 방식이라 부르기도 합니다.

Iteration + Tabulation

재귀가 아닌 반복문을 이용하여 다이나믹 프로그래밍을 구현할 수 있습니다.

하위 문제의 결괏값을 배열에 저장하고, 필요할 때 조회하여 사용하는 것은 재귀 함수를 이용한 방법과 같습니다.

그러나 재귀 함수를 이용한 방법이 문제를 해결하기 위해 큰 문제부터 시작하여 작은 문제로 옮아가며 문제를 해결하였다면,

반복문을 이용한 방법은 작은 문제에서부터 시작하여 큰 문제를 해결해 나가는 방법입니다. 따라서 이 방식을 Bottom-up 방식이라 부르기도 합니다.

작은 문제부터 시작한다는 의미는, 반복문을 사용하는 것으로 i 값을 가장 작은 값부터 초기화한 후에 1씩 증가를 시키며 실행한다는 의미와 같다고 생각됩니다...

Top Down vs Bottom up

정리해보면,

• Top Down

재귀 호출을 사용하여 큰 문제를 먼저 방문 후, 작은 문제를 호출하여 답을 찾는 방식

• Bottom up

반복문을 사용하여 작은 문제들 부터 답을 구해가며 전체 문제의 답을 찾는 방식

입니다.

각 방식의 특장점은

Top Down	Bottom Up
점화식을 이해하기 쉽다.	함수를 재귀 호출하지 않기 때문에 메모리 사용량을 줄일 수 있다.

우리가 레고 조립을 할 때, 설명서대로 잘 조립을 했는데 블록이 몇 가지 남는 경우가 있던 것을 생각해보면 큰 것에서 작은 것으로 쪼개는 것이 더 쉽게, 효율적이라고 느껴집니다.

두 방법이 어떤것이 좋고, 어떤 것이 나쁘다라기보단, 서로 부족한 부분을 보완해주는 상호 보완적인 개념으로 생각하고, 적절하게 잘 적용할 수 있는 개발자가 되도록 더 공부해야할 것 같습니다!