본 포스트는 '면접을 위한 CS 전공지식 노트'를 기반으로 공부한 내용을 정리한 포스트입니다.
메모리 계층은 레지스터, 캐시, 메모리, 저장장치로 구성됨
RAM 은 HDD로부터 데이터를 복사해서 임시저장하고 이를 필요시마다 CPU에 빠르게 전달하는 역할
계층 위로 올라갈수록 가격이 비싸지고 용량은 작아짐. 속도는 빨라짐
계층이 있는 이유
경제성과 캐시 때문
캐시(cache)는 데이터를 미리 복사해 놓는 임시 저장소이자 빠른 장치와 느린 장치에서 속도 차이에 따른 병목 현상을 줄이기 위한 메모리
캐시 계층을 두는 것(메모리 계층 간 속도 차이 해결을 위해 캐싱 계층을 두는 것) 말고 캐시를 직접 설정할 때는 어떻게 해야 하는가?
-> 자주 사용하는 데이터를 기반으로 설정해야함
자주 사용하는 데이터에 대한 근거는 무엇?
-> 지역성 - 시간 지역성(temporal locality)과 공간 지역성(spatial locality)
캐시가 히트되기 위해 매핑하는 방법
CPU의 레지스터와 주 메모리(RAM) 간에 데이터를 주고받을 때를 기반으로 설명
레지스터는 주 메모리에 비하면 굉장히 작고 주 메모리는 굉장히 크기 때문에 작은 레지스터가 캐시 계층으로써 역할을 잘 하려면 이 매핑이 중요함
이름 | 설명 |
---|---|
직접 매핑 (directed mapping) | 메모리가 1~100이 있고 캐시가 1~10 있다면, 1:1~10, 2:11~20,... 매핑하는 방법 처리가 빠르지만 충돌발생이 잦다 |
연관 매핑 (associative mapping) | 순서를 일치시키지 않고 관련 있는 캐시와 메모리를 매핑하는 방법 충돌이 적지만 모든 블록을 탐색해야해서 속도가 느림 |
집합 연관 매핑 | 직접 매핑과 연관 매핑을 합쳐 놓은 것 순서는 일치시키지만 집합을 둬서 저장하며 블록화되어 있기 때문에 검색은 좀 더 효율적. 예를 들어 메모리가 1~100이 있고 캐시가 1~10이 있다면 캐시 1~5에는 1~50의 데이터를 무작위로 저장시키는 것을 말함 |
웹브라우저의 캐시
웹 브라우저의 작은 저장소 쿠키, 로컬 스토리지, 세션 스토리지
보통 사용자의 커스텀한 정보나 인증 모듈 관련 사항들을 웹 브라우저에서 저장해서 추후 서버에 요청할 때 자신을 나타내는 아이덴티티나 중복 요청 방지를 위해 사용됨
쿠키
만료기한이 있는 키-값 저장소
4KB까지 데이터를 저장할 수 있고 만료기한 정할 수 있음
클라이언트 또는 서버에서 만료기한 설정 가능인데 보통 서버에서 만료기한 정함
로컬 스토리지
만료기한이 없는 키-값 저장소
10MB까지 저장 가능
웹 브라우저를 닫아도 유지되고, 도메인 단위로 저장/생성 됨
HTML5를 지원하지 않는 웹 브라우저에서 사용할 수 없으며 클라이언트에서만 수정 가능
세션 스토리지
만료기한이 없는 키-값 저장소
탭 단위로 세션 스토리지를 생성, 탭을 닫을 때 해당 데이터가 삭제됨
5MB 까지 저장 가능
HTML5 지원하지 않는 웹 브라우저에서 사용할 수 없음
클라이언트에서만 수정 가능
데이터베이스의 캐싱 계층
메인 데이터베이스 위에 레디스(redis) 데이터베이스 계층을 '캐싱 계층'으로 둬서 성능을 향상시키기도 함
운영체제의 할 일 중 하나 - 메모리 관리
컴퓨터 내의 한정된 메모리를 극한으로 활용해야 함
가상 메모리(vitual memory)는 메모리 관리 기법 중 하나
컴퓨터가 실제로 이용 가능한 메모리 자원을 추상화하여 이를 사용하는 사용자들에게 매우 큰 메모리로 보이게 만드는 것
가상주소(logical address)가 주어짐
실제 메모리 상에 있는 주소는 실제 주소(physical address)
가상주소는 메모리관리장치(MMU)에 의해 실제 주소로 변환되며, 사용자는 실제 주소를 의식할 필요 없이 프로그램을 구축할 수 있게됨
가상 메모리는 가상 주소와 실제 주소가 매핑되어 있고 프로세스의 주소 정보가 들어있는 '페이지 테이블'로 관리됨 - 이때 속도 향상을 위해 TLB를 사용함
TLB
메모리와 CPU 사이에 있는 주소 변환을 위한 캐시
페이지 테이블에 있는 리스트를 보관하며, CPU가 페이지 테이블까지 가지 않도록 해 속도를 향상시킬 수 있는 캐시 계층
가상 메모리에는 존재하지만 실제 메모리인 RAM에는 현재 없는 데이터, 코드에 접근할 경우 '페이지 폴트'가 발생함
이때 메모리에서 당장 사용하지 않는 영역을 하드디스크로 옮기고 하드디스크의 일부분을 마치 메모리처럼 불러와 쓰는 것을 스와핑(swapping)이라고 함. 이를 통해 마치 페이지 폴트가 일어나지 않은 것처럼 만듦
페이지 폴트(page falut)란 프로세스의 주소 공간에는 존재하지만, RAM에는 없는 데이터에 접근할 경우 발생.
페이지 폴트와 스와핑 과정
1. CPU는 물리 메모리를 확인하여 해당 페이지가 없으면 트랩을 발생하여 운영체제에 알림
2. 운영체제는 CPU의 동작을 잠시 멈춤
3. 운영체제는 페이지 테이블을 확인하여 가상 메모리에 페이지가 존재하는지 확인하고, 없으면 프로세스를 중단하고 현재 물리 메모리에 비어 있는 프레임이 있는지 찾는다. 물리 메모리에도 없으면 스와핑 발동
4. 비어 있는 프레임에 해당 페이지를 로드하고, 페이지 테이블을 최신화함
5. 중단되었던 CPU를 다시 시작
스레싱(thrashing)은 메모리의 페이지 폴트율이 높은 것을 의미
-> 컴퓨터의 심각한 성능 저하를 초래함
스레싱은 메모리에 너무 많은 프로세스가 동시에 올라가게 되면 스와핑이 많이 일어나서 발생하는 것
페이지 폴트가 일어나면 CPU 이용률이 낮아짐
CPU 이용률이 낮아지면 운영체제는 CPU가 한가하다고 생각하여 가용성을 높이기 위해 더 많은 프로세스를 메모리에 올리게 됨
이와 같은 악순환이 반복되면 스레싱이 일어나는 것
해결 방법 : 메모리를 늘리거나, HDD를 SSD로 바꾸는 방법 등, 이외에 운영체제에서 이를 해결하기 위해 '작업 세트' 'PFF'등을 사용할 수 있음
작업 세트(working set)는 프로세스의 과거 사용 이력인 지역성(locality)을 통해 결정된 페이지 집합을 만들어서 미리 메모리에 로드하는 것
미리 메모리에 로드하면 탐색에 드는 비용을 줄일수 있고, 스와핑 또한 줄일 수 있음
PFF(Page Fault Frequency)는 페이지 폴트 빈도를 조절하는 방법으로 상한선과 하한선을 만드는 방법
만약 상한선에 도달한다면 프레임을 늘리고 하한선에 도달한다면 프레임을 줄이는 것
메모리에 프로그램을 할당할 때는 시작 메모리 위치, 메모리의 할당 크기를 기반으로 할당
연속 할당과 불연속 할당으로 나뉨
연속 할당은 메모리에 '연속적으로' 공간을 할당하는 것을 말함
프로세스 A, B, C가 순차적으로 공간에 할당됨
이름 | 설명 |
---|---|
최초적합 | 위쪽이나 아래쪽부터 시작해서 홀을 찾으면 바로 할당 |
최적적합 | 프로세스의 크기 이상인 공간 중 가장 작은 홀부터 할당 |
최악적합 | 프로세스의 크기와 가장 많이 차이가 나는 홀에 할당 |
메모리를 연속적으로 할당하지 않는 불연속 할당은 현대 운영체제가 쓰는 방법임
불연속 할당인 페이징 기법 이 있음
페이징 기법
메모리를 동일한 크기의 페이지(보통 4KB)로 나누고 프로그램마다 페이지 테이블을 두어 이를 통해 메모리에 프로그램을 할당하는 것
페이징 기법 말고도 세그멘테이션, 페이지드 세그멘테이션 등이 있음
메모리는 한정되어 있기 때문에 스와핑이 많이 일어남
스와핑은 많이 일어나지 않도록 설계되어야 하며, 이는 페이지 교체 알고리즘을 기반으로 스와핑이 일어남
오프라인 알고리즘(offline algorithm)은 먼 미래에 참조되는 페이지와 현재 할당하는 페이지를 바꾸는 알고리즘이며, 가장 좋은 알고리즘 이다
(그러나 미래에 사용되는 프로세스를 우리가 알 수 없음)
-> 사용할 수 없는 알고리즘이지만 다른 알고리즘과의 성능 비교에 대한 기준을 제공
FIFO(First In First Out)는 가장 먼저 온 페이지를 교체 영역에 가장 먼저 놓는 방법
LRU(Least Recentle Used) 는 참조가 가장 오래된 페이지를 바꿈
'오래된' 것을 파악하기 위해 각 페이지마다 계수기, 스택을 두어야하는 문제점 있음
LRU 구현을 프로그래밍으로 구현할 때에는 보통 2개의 자료구조로 구현함
해시 테이블과 이중 연결 리스트 사용함
해시 테이블은 이중 연결 리스트에서 빠르게 찾을 수 있도록 사용하고,
이중 연결 리스트는 한정된 메모리를 나타낸다.
LRU에서 발전한 NUR(Not Used Recently) 알고리즘이 있음
일명 'clock 알고리즘'이라고 함
사진 출처
먼저 0과 1을 가진 비트를 설정
1은 최근에 참조됨
0은 참조되지 않음을 의미
시계 방향으로 돌면서 0을 찾고 0을 찾은 순간 해당 프로세스를 교체하고, 해당 부분을 1로 바꾸는 알고리즘
LFU(Least Frequency Used)는 가장 참조 횟수가 적은 페이지를 교체함
즉, 많이 사용되지 않은 것을 교체하는 것
프로세스 : 프로그램으로부터 인스턴화된 것을 말함 (프로그램이 메모리 위에 올라가는 것)
프로그램 : 컴파일러가 컴파일 과정을 거쳐 컴퓨터가 이해할 수 있는 기계어로 번역되어 실행될 수 있는 파일이 되는 것을 의미
.o
임.exe
또는 .out
이라는 확장자를 갖음프로세스는 여러 상태 값을 가짐
사진 출처
fork()
, exec()
함수를 통해 생성함fork()
exec()
process kill
등 여러 명령어로 프로세스를 종료할 때 발생스택 (Stack)
지역변수, 매개변수, 함수가 저장됨
컴파일 시에 크기가 결정되며 '동적'인 특징을 갖음
스택 영역은 함수가 함수를 재귀적으로 호출하면서 동적으로 크기가 늘어날 수 있는데, 이때 힙과 스택의 메모리 영역이 겹치면 안되기 때문에 힙과 스택 사이의 공간을 비워둠
힙 (Heap)
힙은 동적 할당할 때 사용되며 런타임 시 크기가 결정됨
벡터 같은 동적 배열은 당연히 힙에 동적 할당됨
'동적'인 특징을 갖음
데이터 영역 (BSS Segment, Data Segment)
전역변수, 정적변수가 저장됨
'정적'인 특징을 갖는 프로그램이 종료되면 가라지는 변수가 들어있는 영역
BSS Segment, Data Segment로 나뉨
BSS Segment 는 초기화되지 않은 변수가 0으로 초기화되어 저장됨
Data Segment는 0이 아닌 다른 값으로 할당된 변수들이 저장됨
코드 영역
프로그램에 내장되어 있는 소스 코드가 들어가는 영역
수정 불가능한 기계어로 저장되어 있음
'정적'인 특징
PCB(Process Control Block) : 운영체제에서 프로세스에 대한 메타데이터를 저장한 '데이터'를 말함
프로세스가 생성되면 운영체제는 해당 PCB를 생성함
프로그램이 실행되면 프로세스가 생성되고 프로세스 주소 값들에 앞서 설명한 스택, 힙 등의 구조를 기반으로 메모리가 할당됨. 이 프로세스의 메타데이터들이 PCB에 저장되어 관리됨. 메타데이터들은 프로세스의 중요한 정보를 포함하고 있기 때문에 일반 사용자가 접근하지 못하도록 커널 스택의 가장 앞부분에서 관리됨
PCB는 프로세스 스케줄링 상태, 프로세스 ID 등의 다음과 같은 정보로 이뤄져 있음
PCB를 교환하는 과정
한 프로세스에 할당된 시간이 끝나거나 인터럽트에 의해 발생함
사진 출처
P0가 실행되다 멈추고(인터럽트 또는 시스템콜에 의해),P0의 PCB를 저장하고 다시 P1을 로드하여 실행함
다시 인터럽트 또는 시스템콜에 의해 P1이 중단 및 P1의 PCB를 저장하고 P0를 로드하는 과정
컨텍스트 스위칭이 일어날 때 idle(유휴 상태)이 발생하는 것 확인 가능
비용: 캐시미스
PCB가 저장되고 로드되는 과정에서 발생하는 idle 외에도 컨텍스트에 드는 비용이 더 있음. 캐시미스임
컨텍스트 스위칭이 일어날 때 프로세스가 가지고 있는 메모리 주소가 그대로 있으면 잘못된 주소 변환이 생기므로 캐시 클리어 과정을 겪게되고 이 때문에 캐시미스가 발생함
스레드에서의 컨텍스트 스위칭
스레드에서도 컨텍스트 스위칭은 일어남
스레드는 스택 영역을 제외한 모든 메모리를 같은 프로세스의 스레드끼리 공유하기 때문에 스레드 컨텍스트 스위칭의 경우 프로세스 컨텍스트 스위칭에 비해 비용이 더 적고 시간도 더 적게 걸림
여러개의 프로세스, 즉 멀티프로세스를 통해 동시에 2 가지 이상의 일을 수행할 수 있는 것
하나 이상의 일을 병렬로 처리할 수 있으며 특정 프로세스의 메모리, 프로세스 중 일부에 문제가 발생하더라도 다른 프로세스를 이용하여 처리할 수 있으므로 신뢰성이 높은 강점이 있다
[사진 출처 - 면접을 위한 CS 전공지식 노트]
멀티프로세스 간 통신을 위한 IPC(Inter Process Communication)
클라이언트와 서버를 예로 들 수 있음. 클라이언트는 데이터를 요청하고, 서버는 클라이언트 요청에 응답하는 것도 IPC의 예
IPC 종류로는 공유 메모리, 파일, 소켓, 익명 파이프, 명명 파이프, 메시지 큐가 있음
이들은 모두 메모리가 완전히 공유되는 스레드보다는 속도가 떨어짐
공유 메모리
공유 메모리(shared memory)는 여러 프로세스에 동일한 메모리 블록에 대한 접근 권한이 부여되어 프로세스사 서로 통신할 수 있도록 공유 버퍼를 생성하는 것을 말함
기본적으로 각 프로세스의 메모리는 다른 프로세스가 접근 못하지만, '공유 메모리'를 통해 여러 프로세스가 하나의 메모리를 공유할 수 있음
매개체를 통해 데이터를 주고받는 것이 아니므로 데이터 복사 오버헤드가 없어서 가장 빠름
다만, 같은 메모리 영역을 여러 프로세스가 공유하기 때문에 동기화가 필요함
파일
파일은 디스크에 저장된 데이터 또는 파일 서버에서 제공한 데이터를 의미
이를 기반으로 프로세스 간 통신 가능
소켓
동일한 컴퓨터의 다른 프로세스나 네트워크의 다른 컴퓨터로 네트워크 인터페이스를 통해 전송하는 데이터를 의미
TCP, UDP 등이 있음
익명 파이프
익명 파이프(unamed pipe)는 프로세스 간 FIFO 방식으로 읽히는 임시 공간인 파이프를 기반으로 데이터를 주고 받음
단방향 방식의 읽기 전용, 쓰기 전용 파이프를 각각 만들어서 작동하는 방식
이는 부모, 자식 프로세스 간에만 사용할 수 이씅며 다른 네트워크 상에서는 사용이 불가능함
명명된 파이프
명명된 파이프(named pipe)는 파이프 서버와 하나 이상의 파이프 클라이언트 간의 통신을 위한 명명된 단방향 또는 양방향 파이프를 말함
클라이언트/서버 통신을 위한 별도의 파이프를 제공하며, 여러 파이프를 동시에 사용할 수 있음
컴퓨터의 프로세스끼리 또는 다른 네트워크상의 컴퓨터와도 통신을 할 수 있음
보통 서버용 파이프와 클라이언트용 파이프로 구분해서 작동하며 하나의 인스턴스를 열거나 여러 개의 인스턴스를 기반으로 통신함
메시지 큐
메시지 큐는 메시지를 큐(Queue) 데이터 구조 형태로 관리하는 것을 의미
이는 커널의 전역변수 형태 등 커널에서 전역적으로 관리되며 다른 IPC 방식에 비해서 사용 방법이 매우 직관적이고 간단하며 다른 코드의 수정 없이 단지 몇줄의 코드를 추가시켜 간단하게 메시지 큐에 접근할 수 있는 장점이 있음
공유 메모리를 통해 IPC를 구현할 때 쓰기 및 읽기 빈도가 높으면 동기화 때문에 기능을 구현하는 것이 매우 복잡해지는데, 이때 대안으로 메시지 큐를 사용하기도 함.
스레드는 프로세스의 실행 가능한 가장 작은 단위
프로세스는 여러 스레드를 가질 수 있음
[사진 출처 - 면접을 위한 CS 전공지식 노트]
스레드는 코드, 데이터, 힙은 스레드끼리 서로 공유함
그외 영역은 각 스레드마다 생성됨
멀티스레딩은 프로세스 내 작업을 여러 개의 스레드, 멀티스레드로 처리하는 기법
스레드끼리 자원을 공유하기 때문에 효율성이 높음
공유 자원(shared resource)은 시스템 안에서 각 프로세스, 스레드가 함께 접근할 수 있는 모니터, 프린터, 메모리, 파일, 데이터 등의 자원이나 변수 등을 의미
한 공유 자원을 2 개 이상의 프로세스가 동시에 읽거나 쓰는 상황을 경쟁 상태(race condition)라고 함 -> 동시에 접근을 시도할 때 접근의 타이밍이나 순서 등이 결과값에 영향을 줄 수 있는 상태
임계 영역(critical section)은 둘 이상의 프로세스, 스레드가 공유 자원에 접근할 때 순서 등의 이유로 결과가 달라지는 코드 영역을 의미
lock()
을 통해 잠금 설정하고 사용한 후에는 unlock()
을 통해 잠금 해제하는 객체wait
(P 함수라고도 함) 및 signal
(V 함수라고도 함)로 공유 자원에 대한 접근을 처리함wait()
는 자신의 차례가 올 때까지 기다리는 함수이며, signal()
은 다음 프로세스로 순서를 넘겨주는 함수임wait()
작업을 수행하고 프로세스나 스레드가 공유 자원을 해제하면 세마포어에서 signal()
작업을 수행함위 3가지 방법 모두 상호 배제, 한정 대기, 융통성이란 조건을 만족함
교착 상태(deadlock)는 두 개 이상의 프로세스들이 서로가 가진 자원을 기다리며 중단된 상태를 말함
운영체제의 역할은 무엇인가?
PCB 란?
PCB(Process Control Block)이란 운영체제에서 프로세스에 대한 메타데이터를 저장한 것
메모리 계층에 대해 설명하시오
메모리 계층은 레지스터, 캐시, 메모리, 저장장치로 구성됨
앞에서부터 더 빠르고, 기억용량은 더 작다.(저장장치 외에는 모두 휘발성)