파일 시스템

파일과 파일 시스템

File

• "A named collection of related information"
• 일반적으로 비휘발성의 보조기억장치에 저장
• 운영체제는 다양한 저장 장치를 file이라는 동일한 논리적 단위로 볼 수 있게 해줌
• Operation
  • create, read, write, reposition (lseek), delete, open, close 등

    reposition: 현재 접근하고 있는 위치를 수정해주는 것

File attribute(혹은 파일의 metadata)

• 파일 자체의 내용이 아니라 파일을 관리하기 위한 각종 정보들
  • 파일 이름, 유형, 저장된 위치, 파일 사이즈
  • 접근 권한(읽기/쓰기/실행), 시간(생성/변경/사용), 소유자 등

File System

• 운영체제에서 파일을 관리하는 부분
• 파일 및 파일의 메타데이터, 디렉토리 정보 등을 관리
• 파일의 저장 방법 결정
• 파일 보호 등

Directory and Logical Disk

Directory

• 파일의 메타데이터 중 일부를 보관하고 있는 일종의 특별한 파일
• 그 디렉토리에 속한 파일 이름 및 파일 attribute들
• operation
  • search for a file, create a file, delete a file
  • list a directory, rename a file, traverse the file system

Partition (=Logical Disk)

• 하나의 (물리적) 디스크 안에 여러 파티션을 두는게 일반적
• 여러 개의 물리적인 디스크를 하나의 파티션으로 구성하기도 함
• (물리적) 디스크를 파티션으로 구성한 뒤 각각의 파티션에 file system을 깔거나 swapping 등 다른 용도로 사용할 수 있음

ex) window에서 로컬디스크 C/D 를 파티션으로 나누어서 사용

open()

디스크로부터 파일의 메타데이터를 메모리로 가지고오는 open() 과정
파일이 open file table에 올라와 프로세스에서 읽히게 되면 File offset 이라는 파일의 어느 위치에 접근중인지 표시하는 정보가 추가된다.

File Protection

각 파일에 대해 누구에게 어떤 유형의 접근(read/write/execution)을 허락할 것인가?

Access Control 방법

• Access control Matrix

  • 
  • Access control list: 파일별로 누구에게 어떤 접근 권한이 있는지 표시
  • Capability: 사용자별로 자신이 접근 권한을 가진 파일 및 해당 권한 표시

  행렬로 만들게 되면 공간이 낭비되어 ACL이나 Capability와 같은 리스트 형태를 사용함

• Grouping

  • 전체 user를 owner, group, public의 세 그룹으로 구분
  • 각 파일에 대해 세 그룹의 접근 권한(rwx)을 3비트씩으로 표시
  • (예) UNIX
  • 

• Password
  • 파일마다 password를 두는 방법(디렉토리 파일에 두는 방법도 가능)
  • 모든 접근 권한에 대해 하나의 password: all-or-nothing
  • 접근 권한별 password: 암기 문제, 관리 문제

File System의 Mounting

그림에서 보는 것처럼 disk1에 파일시스템을 설치하여 작동시키고 있는데 disk2와 disk3에 접근하려면 어떻게 해야하는가?
→ mounting이라는 연산을 통해 아래와 같이 특정 디렉토리 이름에다가 또 다른 파일시스템을 마운팅 해주면 그 disk의 루트 디렉토리로 접근할 수 있게 됨

Access Methods

시스템이 제공하는 파일 정보의 접근 방식

• 순차 접근(sequential access)
  • 카세트 테이프를 사용하는 방식처럼 접근
  • 읽거나 쓰면 offset은 자동적으로 증가
• 직접 접근(direct access, random access)
  • LP 레코드 판과 같이 접근하도록 함
  • 파일을 구성하는 레코드를 임의의 순서로 접근할 수 있음

파일 시스템 구현

Contiguous Allocation(연속 할당)

연속해서 할당하는 방식

😎 장점

• Fast I/O
  • 한번의 seek/rotation으로 많은 바이트 transfer
  • Realtime file 용으로, 또는 이미 run 중이던 process의 swapping 용
• Direct access(=random access) 가능

🚨 단점

• external fragmentation
• File grow가 어려움
  • file 생성시 얼마나 큰 hole을 배당할 것인가?
  • grow 가능 vs 낭비 (internal fragmentation)

Linked Allocation

😎 장점

• external fragmentation 발생 안함

🚨 단점

• No random access
• Reliability 문제
  • 한 sector가 고장나 pointer가 유실되면 많은 부분을 잃음
• Pointer를 위한 공간이 block의 일부가 되어 공간 효율성을 떨어뜨림
  • 512 bytes/sector, 4bytes/pointer

😀 변형

• File-allocation table(FAT) 파일 시스템
  • 포인터를 별도의 위치에 보관하여 reliability와 공간효율성 문제 해결

Indexed Allocation

😎 장점

• external fragmentation 발생 안함
• Direct access 가능

🚨 단점

• Small file의 경우 공간 낭비(실제로 많은 file들이 small)
• Too Large file의 경우 하나의 block으로 index를 저장하기에 부족
• 해결 방안
  • linked scheme

    파일의 마지막은 또다른 index block을 가리키게 만들어서 사용

  • multi-level index

UNIX 파일시스템의 구조

전체적인 구조

모든 파일시스템의 앞 부분은 무조건 boot block이 나옴

Boot block: 부팅에 필요한 정보(bootstrap loader)
Super block: 파일 시스템에 관한 총체적인 정보를 담고 있다.
Inode list: 파일 이름을 제외한 파일의 모든 메타 데이터를 저장
Data block: 파일의 실제 내용을 보관

FAT File System

FAT은 Data block이 관리하는 개수만큼 공간을 잡는다.
FAT은 데이터 블록에서 검색을하는 것이 아닌, 이 FAT 자체에서 파일이 어디에있는지 확인할 수 있기 때문에 Data block에서 직접접근이 가능하다.

Free-Space Management

Bit map or bit vector

• Bit map은 부가적인 공간을 필요로 함
• 연속적인 n개의 free block을 찾는데 효과적

Linked list

• 모든 free block들을 링크로 연결 (free list)
• 연속적인 가용공간을 찾는 것은 쉽지 않다
• 공간의 낭비가 없다

Grouping

• linked list 방법의 변형
• 첫 번째 free block이 n개의 pointer를 가짐
  • n-1 pointer는 free data block을 가리킴
  • 마지막 pointer가 가리키는 block은 또 다시 n pointer를 가짐

Counting

• 프로그램들이 종종 여러개의 연속적인 block을 할당하고 반납한다는 성질에 착안
• (first free block, # of contiguous free blocks)을 유지

Directory Implementation

Linear list

• <file name, file의 metadata>의 list
• 구현이 간단
• 디렉토리 내에 파일이 있는지 찾기 위해서는 linear search 필요(time-consuming)

Hash Table

• linear list + hashing
• Hash table은 file name을 이 파일에 linear list의 위치로 바꾸어줌
• search time을 없앰
• Collision 발생 가능

File의 metadata의 보관 위치

• 디렉토리 내에 직접 보관
• 디렉토리에는 포인터를 두고 다른 곳에 보관
  • inode, FAT 등

Long file name의 지원

• <file name, file의 metadata>의 list에서 각 entry는 일반적으로 고정크기
• file name이 고정 크기의 entry길이보다 길어지는 경우 entry의 마지막 부분에 이름의 뒷부분이 위치한 곳의 포인터를 두는 방법
• 이름의 나머지 부분은 동일한 directory file의 일부에 존재

VFS and NFS

Virtual File System(VFS)

• 서로 다른 다양한 file system에 대해 동일한 시스템 콜 인터페이스(API)를 통해 접근할 수 있게 해주는 OS의 layer

Network File System(NFS)

• 분산 시스템에서는 네트워크를 통해 파일이 공유될 수 있음
• NFS는 분산 환경에서의 대표적인 파일 공유 방법임

Page Cache and Buffer Cache

Page Cache

• Virtual memory의 Paging system에서 사용하는 page frame을 caching의 관점에서 설명하는 용어
• Memory-Mapped I/O를 쓰는 경우 file의 I/O에서도 page cache 사용

Memory-Mapped I/O

• File의 일부를 virtual memory에 mapping 시킴
• 매핑시킨 영역에 대한 메모리 접근 연산은 파일의 입출력을 수행하게 함

Buffer Cache

• 파일시스템을 통한 I/O 연산은 메모리의 특정 영역인 buffer cache 사용
• File 사용의 locality 활용
  • 한번 읽어온 block에 대한 후속 요청시 buffer cache에서 즉시 전달
• 모든 프로세스가 공용으로 사용
• Replacement algorithm 필요(LRU, LFU 등)

Unified Buffer Cache

• 최근 OS에서는 기존의 buffer cache가 page cache에 통합됨

통합된 버퍼 캐시에선 페이지 캐시와 통합되어 같은 페이지 단위(일반적으로 4KB)로 버퍼 캐시를 관리하게 된다.
-> 커널 메모리 영역에 버퍼캐시를 올려두고 다음에 같은 접근이 발생될때 디스크까지 가지 않고 커널 메모리 영역에 캐시해둔 파일을 보내줌

memory-mapped I/O에선 이미 메모리에 올라와 있는 내용은 커널의 도움을 받지않고(시스템 콜을 호출하지 않아도 됨) 프로세스가 바로 가져다가 사용할 수 있음

memory-mapped I/O를 사용하면 접근하기에 빠르다는 장점이 있지만 주의해야할점으로 일관성(consistency) 문제가 있음

참고사이트

http://www.kocw.net/home/cview.do?cid=3646706b4347ef09