회사에 AI팀이 생긴다는 소식을 듣고, 나도 딥러닝이라는 걸 좀 만져보자!"라는 부푼 꿈을 안고 지원했습니다.
1. 환상: "화장품 만드는 AI? 개쩐다"
상상 속의 텐서플로우와 파이토치를 오가며 모델을 튜닝하는 그런 멋쟁이?였습니다. 터미널엔 로그가 촤라락~ 저는 룰루 커피를 마시며 "음, Loss 값이 줄어들고 있네" 하며 흐뭇해하는... 그런 그림을 그렸죠.
2. 현실: "아, 우리는 데이터만 주면 된대요"
하지만 첫 외부 업체 미팅을 다녀오고 나서 그 환상은 5분 만에 와장창 깨졌습니다. 상황을 파악해 보니 제 역할은 거창한 AI 모델링이 아니었습니다.
우리: "이런 데이터 줄 테니까, 똑똑하게 만들어와요."
업체: "넵, 파인튜닝해서 모델 파일로 드릴게요. API로 찌르시면 됩니다."순간 "어? 그럼 난 뭐 하지? 그냥 파일 넘겨주는 셔틀인가?" 싶은 생각이 스쳐 지나갔습니다. 하지만 회의실을 나오면서 곧 깨달았습니다. 업체 분들이 했던 말이 뇌리에 박혔습니다.
"데이터가 중학생이 봐도 이해할 수 있을 정도로 명확해야 AI도 학습을 합니다."3. 혼자 생각해본 프로세스
제가 생각해본 파이프라인은 크게 3단계입니다.
1. 데이터 전처리
DB에 쌓인 똥, 레거시 데이터들을 AI가 먹기 좋게 JSON이나 CSV로 가공해야 합니다.
2. 모델 학습
이건 외부 업체 영역. 우리는 "믿습니다" 하고 기다림.
하지만 "학습 잘 됐는지 어떻게 검증할 거냐?"에 대한 평가 지표 합의가 필요함.
3. 서비스 연동
돌려받은 모델(혹은 API)을 우리 백엔드 서버와 연동.
4. "파이프라인"까지가 AI다
직접 모델을 못 만져서 너무너무 아쉽지만 당장은 AI가 굴러갈 수 있는 도로를 까는 것이 중요한 것 같습니다.
앞으로 AI 팀에 경력직 분도 뽑는다고 하니, 추후에는 외부 업체에 맡기던 파인튜닝까지 저희가 직접 내재화하지 않을까 싶습니다. 그 과정에서 겪게 될 이야기, 삽질기들 들고 다시 찾아오겠습니다!
한양에서 재직중인 노비입니다.