한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.
최근 몇 년간 대규모 언어 모델(LLM)은 우리 일상 깊숙이 자리 잡았다. 챗봇과의 대화부터 콘텐츠의 생성 및 수정, 복잡한 데이터 분석에 이르기까지 LLM의 활용 범위는 끝없이 확장되고 있기에 LLM을 쓸수록 그 근간에 대한 이해가 필요하다고 생각하게 된다. 하다못해 프롬프트조차 LLM의 작동 방식을 이해해야 좀 더 적절하게 작성할 수 있지 않을까 싶기도 하고, 지금 당장은 파인 튜닝을 한다거나 직접적으로 다룰 일은 없지만 언젠가 좀 더 내밀하게 속내를 들여봐야 하는 시점이 올지도 모른다는 생각이 들기도 한다. 그런 맥락이 이 책을 선택하게 된 중요한 동기가 되었고, 온전히 모든 내용을 흡수할 수는 없어도 기술의 큰 흐름을 눈동냥 하듯 훑어보는 것만으로도 충분히 가치 있는 느낌이었다.
이 책의 시작인 1부는 언어 모델의 역사를 짚어주며 독자가 가진 LLM에 대한 이해의 폭을 넓히고자 한다. 일반 사용자 입장에서는 LLM이 마치 갑자기 등장한 것처럼 느껴질 수 있지만, 사실 그 배경에는 수많은 언어 AI 기술의 발전이 있었다. 언어가 컴퓨터에게 어려운 개념임을 설명하며 BoW(Bag-of-Words)와 같은 초기 기법, 그리고 Word2Vec이 텍스트의 의미를 벡터 공간에 담아내는 과정을 설명하며 LLM의 기본 원리를 풀어 나간다. 예컨대 Word2Vec은 텍스트의 의미를 포착하기 위한 벡터 표현으로, 한 노드가 다른 노드에 미치는 영향의 강도와 방향에 따라 가중치를 부여한다. 이 과정을 통한 단어 임베딩은 비슷한 단어가 서로 가깝게 위치하게 되어 그 이전과 달리 좀 더 연관된 아웃풋을 만들어내는 것이 가능해졌다.
토큰과 임베딩은 LLM의 핵심 개념으로, 책에서 토큰화의 과정과 단어 임베딩이 어떻게 비슷한 단어를 서로 가깝게 위치시키는지 설명한다. BERT 베이스 모델부터 Phi-3까지 다양한 토크나이저별 특징과 결과 비교는 LLM이 텍스트를 처리하는 방식에 대한 이해를 돕고 있으며, LLM이 단순히 단어를 나열하는 것이 아니라 단어 간의 복잡한 관계를 이해하려 노력한다는 것이 흥미롭고 와닿는 부분이었다.
2부부터는 이론을 넘어서 실제 LLM 활용 과정을 다룬다. 영화 리뷰 데이터셋을 활용해 특화된 모델을 선택하고 임베딩과 분류 작업을 이어 나가는 과정을 이야기하고 있는데, 별도로 API 키만 준비되어 있다면 직접 차근차근 따라가 보는 것도 가능하다. 프롬프트 엔지니어링과 RAG(검색 증강 생성), 그리고 멀티모달까지 예시 코드를 통해 구현하고 있는데, 이 과정에서 LLM을 통해 답변을 마주했을 때 어떻게 이런 답변이 만들어졌는지 조금 더 이해할 수 있는 부분이었다.
책의 마지막 3부는 LLM을 특정 목적에 맞게 다듬는 과정, 즉 파인 튜닝(Fine-tuning)에 대한 심화적인 내용을 담고 있다. 텍스트 임베딩 모델을 직접 만들고, 분류용 모델과 생성 모델을 미세 튜닝하는 기술적인 부분을 다룬다. 초심자에게는 다소 버거울 수 있는 내용이지만, LLM의 성능을 최적화하고 특정 도메인에 특화된 모델을 구축하는 데 필요한 핵심 기술들을 폭넓게 제시하고 있다. QLoRA를 사용한 지시 기반 튜닝이나 DPO를 사용한 선호도 튜닝 같은 최신 기법들을 같이 다루고 있다는 점에서 좀 더 다양하게 접할 수 있는 부분이었다.
책의 서두에도 언급되어 있듯 초심자를 위한 책은 아니다. 초심자에겐 한 챕터 넘어가는 것도 다소 버겁게 느껴질 수도 있지만, 그럼에도 불구하고 다양한 기술적 기반을 폭넓게 다루고 있어서 훑어보기엔 좋은 책이라는 생각이 든다. LLM의 근본적인 원리부터 시작하여 실제 적용, 그리고 심화된 훈련 기법까지 다양한 기술적 기반을 폭넓게 다루고 있다는 점 때문에 그렇다. 단순히 LLM을 사용하는 걸 넘어서 그 작동 원리를 이해하고, 더 나아가 직접 모델을 다루고 싶다는 열망을 가진 사람이라면 다소 어렵더라도 충분히 읽어볼 만한 책이라고 생각한다.
