Git - Packfile

Packfile

Git은 zlib으로 파일 내용을 압축하여 .git/objects 폴더에 개체를 저장하기 때문에 저장 공간을 많이 차지하지 않음

파일 크기가 약 22K로 큰 repo.rb 파일을 추가해보자

$ curl https://raw.githubusercontent.com/mojombo/grit/master/lib/grit/repo.rb > repo.rb
$ git checkout master
$ git add repo.rb
$ git commit -m 'added repo.rb'
[master 484a592] added repo.rb
 3 files changed, 709 insertions(+), 2 deletions(-)
 delete mode 100644 bak/test.txt
 create mode 100644 repo.rb
 rewrite test.txt (100%)

추가한 Tree 개체를 확인하면 repo.rb 파일의 SHA-1값을 확인할 수 있음

$ git cat-file -p master^{tree}
100644 blob fa49b077972391ad58037050f2a75f74e3671e92      new.txt
100644 blob 033b4468fa6b2a9547a70d88d1bbe8bf3f9ed0d5      repo.rb
100644 blob e3f094f522629ae358806b17daf78246c27c007b      test.txt

git cat-file 명령에 -s 옵션으로 개체의 크기를 확인할 수 있음

$ git cat-file -s 033b4468fa6b2a9547a70d88d1bbe8bf3f9ed0d5
22044

이제 파일에 라인 한 줄을 더 추가한다면?

$ echo '# testing' >> repo.rb
$ git commit -am 'modified repo a bit'
[master 2431da6] modified repo.rb a bit
 1 file changed, 1 insertion(+)

수정한 커밋의 Tree 개체의 repo.rb 이름의 새로운 개체가 생성됨(새로운 SHA-1 값)

$ git cat-file -p master^{tree}
100644 blob fa49b077972391ad58037050f2a75f74e3671e92      new.txt
100644 blob b042a60ef7dff760008df33cee372b945b6e884e      repo.rb
100644 blob e3f094f522629ae358806b17daf78246c27c007b      test.txt

$ git cat-file -s b042a60ef7dff760008df33cee372b945b6e884e
22054

근데 이렇게 되면 약 22K 파일을 압축한 개체를 두 개 가지게 되는 것 아닌가?

라인 한 줄의 차이만 있는 두 파일을 이렇게 저장하는 것 보다 두 파일의 차이점만 저장할 수는 없을까?

Git은 이것을 가능하게 해줌

Git이 처음 개체를 저장하는 형식은 “Loose” 개체 포맷이라고 부름

나중에 이 개체를 파일 하나로 압축(Pack)하여 공간을 절약하고 효율을 높임

Loose 개체가 너무 많을 때 git gc 명령을 실행하면 리모트 서버로 Push할 때 압축을 함

$ git gc
Counting objects: 18, done.
Delta compression using up to 8 threads.
Compressing objects: 100% (14/14), done.
Writing objects: 100% (18/18), done.
Total 18 (delta 3), reused 0 (delta 0)

이제 objects 디렉토리를 열어보면 개체 대부분이 사라졌고 한 쌍의 파일이 새로 생성되어 있음

$ find .git/objects -type f
.git/objects/bd/9dbf5aae1a3862dd1526723246b20206e5fc37
.git/objects/d6/70460b4b4aece5915caf5c68d12f560a9fe3e4
.git/objects/info/packs
.git/objects/pack/pack-978e03944f5c581011e6998cd0e9e30000905586.idx
.git/objects/pack/pack-978e03944f5c581011e6998cd0e9e30000905586.pack

여기서 맨 처음 두 개체처럼 압축되지 않은 Blob 개체는 어떠한 커밋도 가리키지 않는 개체

이러한 개체들은 dangling 개체로 취급되고 Packfile에 추가되지 않음

압축 결과로 새로 생긴 파일은 Packfile과 그 Index

원래 저장되어있던 개체들 전부 이 Packfile에 저장이 됨

Index 파일에 대해 빠르게 찾기 위해 Packfile에 오프셋이 들어 있음

이렇게 개체들의 압축을 진행하면 저장 공간도 절약할 수 있음

개체를 압축시키면 Git은 먼저 이름이나 크기가 비슷한 파일을 찾음

그리고 두 파일을 비교해 한 파일은 다른 부분만 저장

git verify-pack 명령어는 압축한 내용을 보여줌

$ git verify-pack -v .git/objects/pack/pack-978e03944f5c581011e6998cd0e9e30000905586.idx
2431da676938450a4d72e260db3bf7b0f587bbc1 commit 223 155 12
69bcdaff5328278ab1c0812ce0e07fa7d26a96d7 commit 214 152 167
80d02664cb23ed55b226516648c7ad5d0a3deb90 commit 214 145 319
43168a18b7613d1281e5560855a83eb8fde3d687 commit 213 146 464
092917823486a802e94d727c820a9024e14a1fc2 commit 214 146 610
702470739ce72005e2edff522fde85d52a65df9b commit 165 118 756
d368d0ac0678cbe6cce505be58126d3526706e54 tag    130 122 874
fe879577cb8cffcdf25441725141e310dd7d239b tree   136 136 996
d8329fc1cc938780ffdd9f94e0d364e0ea74f579 tree   36 46 1132
deef2e1b793907545e50a2ea2ddb5ba6c58c4506 tree   136 136 1178
d982c7cb2c2a972ee391a85da481fc1f9127a01d tree   6 17 1314 1 \
  deef2e1b793907545e50a2ea2ddb5ba6c58c4506
3c4e9cd789d88d8d89c1073707c3585e41b0e614 tree   8 19 1331 1 \
  deef2e1b793907545e50a2ea2ddb5ba6c58c4506
0155eb4229851634a0f03eb265b69f5a2d56f341 tree   71 76 1350
83baae61804e65cc73a7201a7252750c76066a30 blob   10 19 1426
fa49b077972391ad58037050f2a75f74e3671e92 blob   9 18 1445
b042a60ef7dff760008df33cee372b945b6e884e blob   22054 5799 1463
033b4468fa6b2a9547a70d88d1bbe8bf3f9ed0d5 blob   9 20 7262 1 \
  b042a60ef7dff760008df33cee372b945b6e884e
1f7a7a472abf3dd9643fd615f6da379c4acb3e3a blob   10 19 7282
non delta: 15 objects
chain length = 1: 3 objects
.git/objects/pack/pack-978e03944f5c581011e6998cd0e9e30000905586.pack: ok

033b4 Blob이 처음 추가한 repo.rb 파일인데, 이 Blob은 바로 아래 줄에 들여쓰기로 쓰여있는 두 번째 버전인 b042a Blob을 가리킴

위 데이터에서 세 번째 컬럼이 압축된 개체의 크기를 나타냄

원래 b042a의 크기는 22K였지만 033b4는 9바이트밖에 되지 않는 모습

원본을 그대로 저장하는 것이 첫 번째가 아니라 두 번째 버전

첫 번째 버전은 차이점만 저장 (예를 들어 마지막 라인이 원래는 없어야 한다는 차이점 등)

최신 버전에 접근할 때가 더 많고 최신 버전에 접근하는 속도가 더 빨라야 하기 때문

git gc 명령을 직접 입력하지 않아도 Git은 가끔 자동으로 데이터베이스를 재압축해서 공간을 절약