1장 ｜ SLM & Ollama 입문
이 글은 개발 초심자의 시선으로 작성된 기록이다. 내 PC에서도 언어모델을 직접 돌려보겠다는 목표로 시작한다. 앞으로 이어질 장들에서는 환경 설정 → 모델 선택 → 데이터 준비 → 학습 및 튜닝 → 활용까지 순서대로 나아간다.
1. SLM(Small Language Model)이란 무엇인가
언어모델 분야에서 “SLM”이라는 개념이 중요해지고 있다. 간단히 말하면, 대형 언어모델(LLM: Large Language Model)의 일부 특징을 유지하면서도 더 작고, 덜 무겁게, 덜 자원으로 실행될 수 있게 설계된 모델이다.
특징
- 파라미터(Parameter)의 수가 비교적 적다 → 모델 크기와 연산량이 적다. (mlsysbook.ai)
- 특정 도메인(예: 내부 보고서 요약, 코드 리뷰, FAQ 챗봇) 등에 맞춰 튜닝하기에 적합하다. (Hugging Face)
- 리소스가 제한된 환경(내 PC, 노트북, 엣지 디바이스)에서도 실행 가능하다. (mlsysbook.ai)
한계
- 범용적으로 질문 받고 답변하고 추론하는 데 있어 대형 모델만큼 깊이 있는 성능을 내기 어려울 수 있다. (Medium)
- 문맥이 길거나 복잡한 추론을 요구하는 작업에서는 성능 저하가 나타날 수 있다. (mlsysbook.ai)
내가 SLM을 선택한 이유
내 노트북(혹은 데스크탑)이 막연히 “언어모델을 돌릴 수 없다”는 한계에 머물러 있었기에, 작고 효율적인 모델로 직접 경험해보자는 마음이 생겼다. 즉, “리소스 제약 → 경험 불가능”이라는 흐름을 끊고 싶었다.
2. Ollama란 무엇인가
모델만 확보한다고 끝나는 게 아니다. 다운로드하고 실행하고 관리할 수 있는 환경이 필요하다. 여기서 선택한 도구가 바로 Ollama이다.
Ollama의 특징
- 로컬 환경(내 PC, 노트북)에서 언어모델을 다운로드하고 실행할 수 있다. (Hugging Face)
- 커맨드라인(CLI)을 통해 모델을 제어할 수 있어 개발 흐름에 잘 맞는다. (thenewstack.io)
- 다양한 운영체제(macOS, Linux, Windows/WSL)를 지원하는 경우가 많아서 환경 제약이 크게 적다. (mlsysbook.ai)
이 시리즈에서 Ollama를 선택한 이유
내가 모델을 선택 → 다운로드 → 실행 → 활용하는 흐름을 경험하고 싶었고, Ollama는 이 흐름을 비교적 매끄럽게 만들어준다. 특히 주니어 입장에서 “설정이 어렵다→포기한다”가 되지 않게 만들고 싶었다.
3. 이 시리즈에서 달성하고자 하는 것들
앞으로 이 장 다음으로 이어질 글들을 통해 내가 이루고 싶은 목표다:
- 내 PC 또는 노트북에서 SLM 모델을 직접 다운로드하고 실행하는 경험을 쌓는다.
- 준비한 데이터를 전처리하고, 모델을 간단히 튜닝하거나 활용해본다.
- 그 결과물을 간단한 애플리케이션(예: 챗봇, 문서 요약 툴)으로 연결해본다.
- 메모리·저장공간·GPU여부 같은 “현실적 제약”을 고려하면서 실습을 한다.
- 또한 “로컬 언어모델”, “언어모델 튜닝”, “SLM 실습”, “Ollama 모델 사용법” 같은 키워드도 접하면서 블로그 글로서 검색 유입 가능성도 고려한다.
4. 따라하기 준비 체크리스트
다음 2장부터 바로 실습에 들어가야 하므로, 지금 이 순간 준비해야 할 항목들을 체크해보자.
| 항목 | 설명 |
|---|---|
| 운영체제 확인 | Windows(WSL 포함) 또는 macOS 또는 Linux 중 어떤 환경인지 미리 확인 |
| 메모리 | 최소 16GB 이상 권장 – 모델 크기/데이터 양에 따라 더 필요할 수 있다 |
| 저장공간 | 모델 파일 다운로드 + 데이터 저장 + 실행 결과 여유 공간 확보 |
| GPU 여부 | GPU가 있으면 속도가 빠르지만 없어도 CPU로 실습 가능하다는 점 기억 |
| Ollama 설치 | 아래 설치 예제를 지금 실행해볼 수 있다 |
| 모델 다운로드 + 실행 테스트 | 모델 하나 다운로드해보고 실행해보는 흐름을 미리 시도해보자 |
Ollama 설치 예제
아래는 리눅스 또는 맥 환경에서 실행 가능한 설치 예제 명령어이다.
curl -fsSL https://ollama.com/install.sh | sh설치 후 터미널에서 아래 명령어로 설치가 성공했는지 확인한다.
ollama --version모델 다운로드 및 실행 예제
예를 들어 “smollm:1.7b” 같은 SLM 모델을 다운로드하고 실행해볼 수 있다.
ollama pull smollm:1.7b
ollama run smollm:1.7b실행 후 터미널이 입력 대기 상태가 되면 예를 들어 다음과 같은 질문을 입력해본다.
Explain what small language models are and how they differ from large language models.정상적으로 답변이 나오면 준비 완료다!
5. 마무리
이제 첫 장을 통해 왜 SLM이 중요한가, 왜 Ollama인가, 그리고 내가 이 시리즈로 무엇을 이루려 하는가를 정리했다. 다음 장에서는 환경 설정 + 모델 선택으로 더 깊이 들어가겠다. 어떤 모델을 선택해야 할지 분석하고, 나도 선택 기준을 세워보겠다.
다음 장에서 뵙자.
SLM, SmallLanguageModel, Ollama, 로컬LLM, 모델튜닝, 언어모델, AI개발, 개발블로그, 머신러닝, 모델학습
출처
- “Small Language Models (SLM): A Comprehensive Overview.” – Hugging Face Blog. (Hugging Face)
- “How to get started running Small Language Models at the edge.” – The New Stack. (thenewstack.io)
- “Small Language Models: The Rise of SLMs — Are Tiny LMs Ready for Prime Time?” – Medium. (Medium)
