함수의 프롤로그와 에필로그: 스택 프레임 관리 메커니즘

프로그램이 실행되는 동안 함수가 호출될 때마다 메모리 관리가 효율적으로 이루어져야 한다. 이를 위해 대부분의 프로그래밍 언어와 컴파일러는 '프롤로그(Prologue)'와 '에필로그(Epilogue)'라는 특별한 코드 시퀀스를 사용하여 스택 메모리를 체계적으로 관리한다. 이 글에서는 이러한 메커니즘을 설명합니다.

스택 프레임의 기본 개념

스택 프레임이란

스택 프레임(Stack Frame)은 함수가 호출될 때 스택에 생성되는 메모리 영역으로, 해당 함수만의 고유한 작업 공간이다. 스택 영역은 함수의 호출과 함께 할당되며, 함수의 호출이 완료되면 소멸한다.

스택 프레임에는 다음과 같은 정보가 포함된다.

• 함수의 매개변수
• 함수의 지역 변수
• 반환 주소
• 이전 함수의 스택 베이스 포인터(EBP)

스택 프레임의 동작 방식

스택은 후입선출(LIFO: Last-In-First-Out) 구조로 동작한다. 가장 나중에 저장된 데이터가 가장 먼저 인출되는 방식이다. 함수가 호출될 때마다 새로운 스택 프레임이 스택의 상단에 쌓이고, 함수 실행이 완료되면 그 스택 프레임이 제거된다.

예를 들어, main() 함수에서 func1()을 호출하고, func1()에서 func2()를 호출하는 경우를 생각해본다.
1. 먼저 main() 함수의 스택 프레임이 생성된다.
2. func1() 호출 시 func1()의 스택 프레임이 그 위에 쌓인다.
3. func2() 호출 시 func2()의 스택 프레임이 가장 위에 쌓인다.
4. func2() 종료 시 해당 스택 프레임이 제거된다.
5. func1() 종료 시 해당 스택 프레임이 제거된다.
6. main() 종료 시 해당 스택 프레임이 제거되고 프로그램이 종료된다.

중요 레지스터의 역할

스택 프레임을 관리하는 데 핵심적인 역할을 하는 레지스터가 있다.

EBP(Base Pointer)

현재 스택 프레임의 기준점이 되는 레지스터이다. 함수가 실행되는 동안 고정된 값을 유지하여 지역 변수와 매개변수에 일관된 접근을 가능하게 한다.

ESP(Stack Pointer)

스택의 가장 꼭대기를 가리키는 레지스터이다. 스택이 변할 때마다 값이 변화하며, push와 pop 연산이 이 위치에서 발생한다.

EIP(Instruction Pointer)

CPU가 다음에 실행할 명령어의 주소가 저장된 레지스터이다. 함수 반환 시 이 레지스터에 적절한 반환 주소가 로드되어 실행 흐름이 원래 위치로 돌아간다.

함수 프롤로그 과정

프롤로그(Prologue)는 함수가 호출되어 실행을 시작할 때 수행되는 과정으로, 새로운 스택 프레임을 설정한다.

프롤로그 기본 명령어

push ebp       ; 이전 함수의 베이스 포인터를 스택에 저장
mov ebp, esp   ; 현재 스택 포인터 값을 베이스 포인터에 복사

프롤로그 수행 과정 상세 설명

1. Push ebp

   • 이전 함수의 베이스 포인터(ebp)를 스택에 저장한다.
   • 이 값은 함수가 종료될 때 이전 함수의 스택 프레임으로 돌아가기 위해 필요하다.
   • 이 작업으로 ESP 값은 4바이트(32비트 시스템 기준) 감소한다.

2. Mov ebp, esp

   • 현재 스택 포인터(esp) 값을 베이스 포인터(ebp)에 복사한다.
   • 이제 ebp는 새로운 스택 프레임의 기준점이 된다.
   • ESP와 EBP는 같은 위치를 가리키게 된다.

3. 지역 변수 공간 할당

   • 지역 변수가 있는 경우 sub esp, X 명령어로 필요한 만큼 스택 공간을 할당한다.
   • 이렇게 할당된 공간에 함수 내 지역 변수들이 저장된다.

함수 에필로그 과정

에필로그(Epilogue)는 함수 실행이 완료되어 호출했던 함수로 돌아가기 전에 수행되는 과정으로, 스택을 원래 상태로 복원한다.

에필로그의 기본 명령어

leave          ; 스택 프레임 정리 (mov esp, ebp와 pop ebp의 조합)
ret            ; 함수 반환 (pop eip와 jmp eip의 조합)

에필로그 수행 과정 상세 설명

1. leave 명령어는 내부적으로 다음과 같은 두 명령어로 구성된다.

   • mov esp, ebp: ESP를 EBP가 가리키는 위치로 되돌린다. 이 작업으로 함수 내에서 할당한 지역 변수 공간이 해제된다.
   • pop ebp: 스택에서 이전에 저장한 EBP 값을 pop하여 EBP 레지스터에 복원한다. 이 작업으로 EBP는 이전 함수의 스택 프레임 기준점으로 돌아간다. ESP는 4바이트 증가한다.

2. ret 명령어는 내부적으로 다음과 같은 두 명령어로 구성된다.

   • pop eip: 스택에서 return 주소를 pop하여 EIP 레지스터에 넣는다. 이 주소는 함수가 호출됐을 때 스택에 push된 값이다.
   • jmp eip: EIP 레지스터에 저장된 주소로 점프한다. 이 작업으로 함수를 호출했던 위치의 다음 명령어부터 실행을 계속한다.

PE 파일 구조와 스택 프레임의 관계

PE 파일 개요

PE(Portable Executable) 파일은 Windows 운영체제에서 사용되는 실행 파일 형식이다. 종류는 다음과 같다.

• 실행 계열: .exe, .scr(화면 보호기)
• 드라이버 계열: .sys, .vxd
• 라이브러리 계열: .dll, .ocx(ActiveX), .cpl, .drv
• 오브젝트 계열: .obj

PE 파일 구조

PE 파일은 크게 PE 헤더와 PE 바디로 구성된다.

1. PE 헤더

   • DOS Header: e_magic 멤버가 "MZ"(4D5A)인 시그니처를 가진다.
   • e_lfanew: NT Header의 시작 오프셋을 가리킨다.
   • NT Header: "PE00" 시그니처로 시작하며, File Header와 Optional Header를 포함한다.
   • File Header: Machine(실행 대상 플랫폼), NumberOfSections 등의 정보를 담고 있다.

2. PE 바디

   • 파일의 실제 코드, 데이터, 리소스 등이 저장된다.

외부 함수 호출 메커니즘

PE 파일이 외부 DLL 함수를 사용할 때는 다음과 같은 메커니즘이 작동한다.

• Image Directory: 외부 DLL 함수 사용에 필요한 정보를 담는다.
• Export Table: 외부 DLL 파일의 함수 주소를 찾는 데 사용한다.
• Import Table & IAT(Import Address Table): 찾은 함수 주소를 저장하고 사용한다.

스택 프레임과 보안

스택 오버플로우(Stack Overflow)

스택 오버플로우는 스택 메모리 영역의 경계를 넘어서 데이터가 쓰여질 때 발생하는 보안 취약점이다. 함수의 재귀 호출이 무한히 반복되거나 대량의 지역 변수가 할당될 경우 발생할 수 있다. 스택의 모든 공간을 차지한 후에도 데이터가 계속 쌓이면, 스택 영역을 넘어서 메모리에 접근하게 된다. 이는 프로그램 오동작이나 보안 취약점으로 이어질 수 있다.

리턴 주소 악용

함수 에필로그에서 ret 명령어 실행 시 스택에서 pop되는 리턴 주소를 조작하면 공격자가 원하는 코드를 실행할 수 있다. 버퍼 오버플로우 취약점 등을 통해 스택에 저장된 리턴 주소를 악의적인 셸 코드 주소로 변경할 수 있다. 이 때문에 스택 보호 메커니즘(스택 쿠키, ASLR 등)이 중요하다.

추가로 알아두면 좋은 내용

PLT와 GOT

프로그램이 외부 라이브러리 함수를 호출할 때 사용하는 메커니즘이다.

• PLT(Procedure Linkage Table): 실제로 호출할 코드를 담고 있는 테이블이다. 프로그램 밖에 있는 프로시저를 연결해주는 역할을 한다.
• GOT(Global Offset Table): PLT가 참조하는 테이블로, 프로시저의 주소가 들어있다. 프로그램 밖에 있는 라이브러리에서 주소를 가져온다.

64비트 시스템에서의 차이점

64비트 시스템에서는 레지스터 이름이 변경된다.

• EBP → RBP
• ESP → RSP
• EIP → RIP

또한 매개변수 전달 방식이 다르고, 스택 프레임 구조에도 약간의 차이가 있다.

---

윈도우 환경에서의 버퍼오버플로우 익스플로잇 기법

스택 버퍼 오버플로우 익스플로잇 기법

Direct EIP Overwrite

Direct EIP Overwrite는 가장 기본적인 버퍼 오버플로우 공격 기법이다. 이 방식은 버퍼의 크기를 초과하는 데이터를 입력하여 스택에 저장된 반환 주소(Return Address)를 조작하는 방식으로 작동한다. 공격자는 EIP 레지스터가 가리키는 값을 자신이 원하는 주소로 덮어써서 프로그램의 실행 흐름을 변경한다.

Trampoline 기법

Trampoline 기법은 쉘 코드의 주소를 직접 찾아 실행 흐름을 바꾸는 대신 중간 다리 역할을 하는 명령어를 활용하는 방식이다. 원리는 다음과 같다:

1. 공격자는 리턴 주소를 JMP ESP, CALL ESP 명령어가 있는 주소로 덮어쓴다.
2. 이 특정 명령어는 ESP가 가리키는 위치로 실행 흐름을 전환한다.
3. 결과적으로 쉘코드가 실행된다.

특히 쉘 코드의 주소를 직접 알기 어려운 ASLR이 적용된 환경에서 유용한 기법이다. TEB(Thread Environment Block)나 PEB(Process Environment Block)를 통해 동적으로 주소를 찾는 방식을 사용한다.

SEH Overwrite 기법

SEH(Structured Exception Handling) Overwrite는 윈도우의 예외 처리 메커니즘을 악용한 공격 기법이다. 이 기법의 작동 원리는 다음과 같다:

1. 버퍼 오버플로우를 통해 스택의 SEH 구조체를 덮어쓴다.
2. pNextSEHRecord에는 쉘코드로 점프하는 코드(JMP SHORT)를 삽입한다.
3. pExceptionHandler에는 POP POP RET 가젯이 있는 주소를 삽입한다.
4. 의도적으로 예외를 발생시켜 SEH 체인이 활성화되게 한다.

SEH의 구조는 다음과 같이 구성된다:

1. EXCEPTION_REGISTRATION_RECORD: 스택에 할당되는 링크드 리스트 구조
2. pNextSEHRecord: 다음 SEH 레코드를 가리키는 포인터
3. pExceptionHandler: 예외 처리를 위한 함수 주소

SEH Overwrite 공격이 가능한 이유는 윈도우 시스템의 SEH가 예외 처리기 등록 구조체를 스택에 위치시키기 때문이다. SafeSEH가 도입된 후에도 SafeSEH가 적용되지 않은 모듈을 찾거나 다른 우회 방법을 사용하여 공격할 수 있다

Universal 쉘코드 작성법

Universal 쉘코드의 필요성

Windows 7 이상의 운영체제에서는 ASLR(Address Space Layout Randomization) 보안 기능으로 인해 kernel32.dll의 상위 2바이트 주소가 부팅할 때마다 변경된다. 이로 인해 쉘코드에서 WinAPI 함수를 하드코딩하여 사용할 수 없다. 따라서 실행 중에 동적으로 함수의 주소를 찾아내는 Universal 쉘코드 기법이 필요하다.

PEB를 통한 DLL 베이스 주소 찾기

Universal 쉘코드의 핵심은 TEB(Thread Environment Block)와 PEB(Process Environment Block)를 활용하여 함수의 주소를 동적으로 찾는 것이다. 과정은 다음과 같다:

1. TEB의 주소는 FS:[0x30]을 통해 얻을 수 있다.
2. TEB+0x30에서 PEB의 주소를 얻는다.
3. PEB+0x0C에서 PEB_LDR_DATA 주소를 얻는다.
4. PEB_LDR_DATA+0x14에서 InMemoryOrderModuleList 주소를 얻는다.
5. InMemoryOrderModuleList에서 ntdll.dll과 kernel32.dll의 베이스 주소를 찾는다.

mov ebx, [fs:0x30]      ; PEB 주소 획득
mov ebx, [ebx + 0x0c]   ; PEB_LDR_DATA 주소 획득
mov ebx, [ebx + 0x14]   ; InMemoryOrderModuleList 주소 획득
mov ebx, [ebx]          ; ntdll.dll 엔트리 획득
mov ebx, [ebx]          ; kernel32.dll 엔트리 획득
mov ebx, [ebx + 0x10]   ; kernel32.dll 베이스 주소 획득

Export Directory에서 함수 주소 찾기

kernel32.dll의 베이스 주소를 찾은 후에는 PE 헤더의 Export Directory를 탐색하여 원하는 함수의 주소를 찾을 수 있다:

1. DLL 베이스 주소 + 0x3C에서 PE 시그니처 RVA를 얻는다.
2. PE 시그니처 + 0x78에서 Export Table RVA를 얻는다.
3. Export Directory에서 세 가지 중요한 배열을 찾는다:
   • AddressOfFunctions (EAT): 함수의 실제 주소까지의 오프셋 배열
   • AddressOfNames (ENT): 함수 이름이 들어있는 배열
   • AddressOfNameOrdinals (EOT): 함수의 서수 배열(인덱스)
4. 함수 이름을 해시 값으로 비교하여 원하는 함수를 찾고, 해당 함수의 서수를 이용해 주소를 계산한다.

이러한 기법을 활용하면 Windows 버전에 관계없이 작동하는 쉘코드를 작성할 수 있다. 특히 WinExec, CreateProcess와 같은 유용한 API 함수를 호출하여 더 복잡한 쉘코드를 작성할 수 있다.