파트1이 마무리되고, 파트2 팀과 멘토를 배정받았다. 멘토님께서 '회고'에 대해 강조하셔서 알게 되었는데, 개발자에게 꼭 필요한 과정인 것 같다는 생각이 들었다. 늦었지만 남은 부트캠프 기간 동안 1주일에 1번은 회고를 해보려고 한다.
회고 방법론을 검색해보니 여러가지가 있는데, 5F (Facts, Feeling, Finding, Future Action, Feedback)를 이용해서 한번 해보려고 한다.
🟥 Fact (사실)
딥러닝 수업에 Epoch, Batch, Batch size, Iteration에 대해서 배웠다. 그 중에서도 특히 Batch vs. Batch size, 그리고 Batch vs. Iteration 개념이 헷갈려서 좀더 공부를 해보았다.
- 에포크 (Epoch): 전체 데이터 학습 횟수
- 배치 사이즈 (Batch size): 한번에 학습하는 데이터 양
- 반복 (Iteration): 배치가 학습된 횟수
1,000쪽짜리 문제집을 공부하는 것을 가정하면,
- 1,000쪽짜리 문제집을 처음부터 끝까지 한 번 다 푼 것이
1 에포크 (Epoch)이다. - 1,000쪽을 한 번에 다 읽고 문제의 정답을 맞히려면 머리가 터지겠죠? 그래서 한번에 '10쪽씩' 끊어서 공부하기로 한다. 이때 이 10쪽이라는 단위가
배치 사이즈 (Batch size)이다. - '10쪽씩' 묶은 그 묶음 자체를
배치 (Batch)라고 한다. - 문제집을 다 보기 위해 몇번의 공부 세션을 가졌는지, 그 횟수가
반복 (Iteration)이다.
배치(Batch)와 이터레이션(Iteration)은 서로 밀접하게 연결되어 있지만, 엄밀히 말하면 '대상'과 '횟수'라는 차이점이 있다.
1,000쪽 문제집 비유를 다시 꺼내보자면,
1. 배치 (Batch)는 '공부할 묶음(덩어리)'이다.
- 의미: 한 번에 모델이 학습하는 데이터의 단위이다.
- 비유: 문제집에서 '내가 지금 내 책상 위에 올려둔 10쪽 분량의 종이 뭉치' 그 자체가 배치 (Batch)이다.
-
배치 사이즈 (Batch size)는 그 뭉치 안에 들어있는 페이지 수 (10쪽)를 말한다.
-
이터레이션 (Iteration)은 '공부하는 행위 (반복 횟수)'이다.
- 의미: 한 개의 배치를 학습 (가중치 업데이트)한 횟수이다.
- 비유: '10쪽 뭉치를 다 풀고 채점까지 마친 공부 세션 1번'이 1 이터레이션 (Iteration)이다.
문제집 1,000쪽을 10쪽씩(배치 사이즈) 나누어 공부한다면, 총 100번의 이터레이션을 거쳐야 문제집 한 권(1 에포크)을 다 끝낼 수 있다.
🟧 Feeling (느낌)
처음 접하는 개념이라 처음에는 많이 헷갈렸는데, Gemini의 친절한 비유 설명 (1000쪽짜리 문제집을 공부하는 예시)을 보고 쉽게 이해할 수 있었다.
그리고 Gemini와 Claude에게 이해하기 쉽게 그림으로 그려달라고 했는데, 정말 깔끔하게 잘 정리해줘서 이해하는 데 도움이 많이 되었다.
🟨 Finding (배운 점/발견)
개념만 접했을 때는 느낌이 잘 안 와닿았는데, 비유를 접하고 나니 이해가 잘 되었다.
🟩 Future Action (향후 계획)
나중에 또 찾아보게 될 수도 있을 것 같아서 블로그에 개념을 정리해서 업로드했다 (https://tinyurl.com/2p9z2n49). 앞으로도 모르는 개념이 생기면, Gemini에게 비유 설명과 이해하기 쉽게 이미지도 그려달라고 해야겠다.
🟦 Feedback (피드백)
멘토님께 피드백을 받았다. 비유를 찾아보는 것에서 그치지 않고, 이미지까지 만들어달라고 한 것은 잘했고, 앞으로는 다이어그램 (Diagram)을 직접 그려보는 연습을 해보면 좋을 것 같다고 하셨다. 지금부터 아키텍쳐와 친숙해지는 연습을 하자는 말씀도 덧붙이셨다.
(다이어그램 관련 링크: https://www.sebastianraschka.com/llm-architecture-gallery/)
