📰 오늘의 기사
- 제목 : PM은 LLM을 어디까지 이해해야 할까?
- 출처 : 요즘 IT
- 기사 링크 : https://yozm.wishket.com/magazine/detail/3784/
📖 기사 핵심 요약
- LLM(대규모 언어 모델)은 복잡한 사고를 하는 것이 아니라, 다음에 올 단어를 확률적으로 예측하는 방식으로 동작한다.
- LLM은 텍스트를 토큰(Token) 단위로 처리하며, 언어에 따라 토큰 사용량과 비용이 달라진다.
- LLM은 컨텍스트 윈도우라는 제한된 단기 기억만 가지고 있어 장기 기억을 위해서는 별도의 시스템 설계가 필요하다.
같은 질문에도 답변이 달라지는 이유는 추론 과정에서 확률적으로 토큰을 선택하기 때문이다. - AI는 사실 여부를 검증하지 않고 가장 그럴듯한 답을 생성하기 때문에 환각(Hallucination)이 발생할 수 있다.
- 기업에서는 환각 문제를 줄이기 위해 RAG(Retrieval-Augmented Generation)를 활용해 내부 문서나 외부 자료를 참고하도록 한다.
- 에이전트(Agent)는 LLM에 다양한 도구를 연결해 실제 작업을 수행할 수 있도록 확장한 개념이다.
- PM은 AI의 기술적 세부사항을 모두 알 필요는 없지만, 토큰·컨텍스트·추론·RAG·에이전트 정도는 이해해야 올바른 의사결정을 내릴 수 있다.
🔑 주요 키워드 정리
1️⃣ LLM
대규모 언어 모델(LLM)은 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델.
2️⃣ 에이전트
LLM이 단순히 답변하는 것을 넘어 검색, 예약, 이메일 발송 등 실제 행동을 수행할 수 있도록 확장한 구조.
3️⃣ RAG(Retrieval-Augmented Generation)
LLM이 답변을 생성하기 전에 관련 문서를 검색하여 참고하도록 하는 기술. 기업용 AI 서비스에서 환각을 줄이는 핵심 방법.
4️⃣ 컨텍스트(Context)
LLM이 현재 대화에서 참고할 수 있는 정보 범위. 컨텍스트 한도를 초과하면 이전 내용을 잊어버린 것처럼 동작한다.
💡 나의 생각
이번 기사는 PM을 대상으로 작성된 글이지만, 필자와 같은 주니어 개발자나 개발자를 준비하는 사람들에게도 도움이 되는 내용이라고 생각한다. LLM이라는 개념을 막연히 어렵고 복잡한 기술로만 생각했는데, 대학 시절 ML/DL을 공부하며 접했던 내용들이 실제로 LLM의 동작 원리와 연결되어 있다는 점이 흥미로웠다.
특히 같은 질문에도 서로 다른 답변이 나오는 이유를 설명하는 추론(Inference) 부분이 인상 깊었다. 과거 프로젝트를 진행하면서 항상 가장 높은 정확도의 결과만 선택하는 방식에 한계를 느꼈고, 다양한 후보를 두고 그중에서 선택하는 방식도 고민했던 경험이 있다. 그런데 기사에서 LLM 역시 확률 분포를 기반으로 답을 '계산하는 것'이 아니라 '선택하는 것'에 가깝다는 설명을 보고 반가웠다.
내가 공부하기 위해