어떤 프로젝트인가?

기획할 당시에는 면접 준비를 할 때, 카톡방과 같은 면접스터디에서 자료를 조사하면 그것만 받고 도망가는 사람이 있고 서로 면접을 연습할 때 개개인의 열정에 따라 효율이 다를 수 밖에 없다는 문제점이 있다고 생각했습니다.

이러한 단점들을 해결하기 위해, 생성형 AI를 활용하면 어떨까? 라는 아이디어가 나왔습니다. 가볍게 가능성을 테스트하기 위해 ChatGPT에게 모집공고와 자소서를 주고 아래의 케이스에 대해 검증했습니다.

1. 모집공고와 자소서에서 면접 질문을 10개 생성하기.
2. 특정 회사 이름을 주고 그 회사의 어떤 직군을 면접볼 때 나올 수 있는 질문 생성하기.
3. 자소서 내용을 분석하고 평가하기.

검증할 당시에는 나름 괜찮은 퀄리티를 보여준다고 판단하였고 해당 아이디어를 바탕으로 서비스를 만들기로 결정했습니다.

면접 연습 서비스, 모뷰

모두의 인터뷰(줄여서 모뷰)는 LLM을 결합하여 만든 웹서비스로, 회사 이름, 회사의 모집공고, 지원하고자 하는 직군, 자기소개서를 바탕으로 면접 질문을 AI가 생성하여 이를 기반으로 연습할 수 있는 서비스입니다.

제공하는 기능은 아래와 같습니다.

1. 정보를 바탕으로 한 개인 면접 질문 생성.
2. 질문에 답변을 하면, 확률에 의한 꼬리 질문 생성.
3. TTS 기능을 활용하여 면접관 음성 제공.
4. STT 기능을 활용하여 목소리로 답변 가능.

프로젝트 회고

이제, 프로젝트를 진행하면서 느꼈던 부분들을 정리해보려고 합니다. 첫번째 프로젝트인 만큼 부족한 점들도 많았던 것 같습니다.

잘했던 부분

1. LLM을 활용한 서비스 개발 및 런칭까지 진행해봤다.

   생각보다 LLM이 우리 일상에 스며든지 그렇게 긴 시간이 지나지 않았습니다. 22년도 11월 쯤인 걸로 기억하네요. 그렇다보니, LLM을 활용한 서비스들이 그렇게 많지 않았고 이를 활용하여 좋은 서비스를 만들 수 있는 만큼 퀄리티가 만족스러운 것도 아니긴 했습니다.
   
   하지만 소마 프로젝트를 진행할 쯤에는 GPT-4도 나오고 LLaMA, Bard, CLOVA X 등 다양한 LLM 모델들이 나오고 그 퀄리티도 많이 올라가는 시기였습니다. 앞으로도 계속 발전할 분야인 만큼 LLM을 활용한 서비스 개발하고 런칭까지 해본 경험은 "좋았다" 정도로 평가할 수 있을 것 같네요.

2. 서비스를 위해 LLM 응답시간을 개선하는 경험을 얻었다.

   사실 이 부분은 잘한 부분도 있고 지금 되돌아보면 아쉬운 부분도 있습니다. LLM은 API 요청을 통해, 요청에 대한 텍스트를 생성하는 과정에서 시간이 많이 소모되는데 근본적으로 이 시간자체를 저희가 줄일 수 없으니 개선할 수 있는 부분은 많이 없었습니다. 저희에게 적용가능한 방법은 (1)LLM 파이프라인 간소화, (2)병렬처리 이렇게 2가지 방법 정도가 있었습니다. 저희는 (1),(2) 두 방법 모두 사용하여 응답시간은 대폭 개선했지만 파이프라인 간소화로 답변 생성 컨트롤이 어려워졌습니다.

3. 런칭을 통해, 실제 사용자를 유치하고 Google Analytics를 활용하여 데이터 수집과 시각화를 해본 경험을 했다.

부족했던 부분

1. 서비스 퀄리티가 좋지 않았다.

   이 부분은 먼저, LLM이 가지고 있는 고질적인 문제인 할루시네이션 현상과 LLM에게 너무 많은 통제 조건을 걸어야 했던 서비스 과제의 탓도 있다고 생각이 됩니다. 한마디로, LLM을 활용하기에 좋은 분야가 아니었다고 판단됩니다.
   
   물론, LLM 탓만 할 순 없습니다.
   위에서 언급한 성능 개선을 위한 파이프라인 간소화와 서비스 과제에 대한 깊이 있는 지식 또한 부족했습니다. 아래에서 더 후술하겠습니다.

2. 너무 광범위한 서비스 제공 범위.

   저희는 개발자인 만큼 알고 있는 지식의 폭이 좁습니다. 그렇다보니, LLM 검증 또한 한정된 분야로만 진행했었고 이는 실제 서비스 런칭 이후에 문제점으로 드러났습니다.
   
   제가 찾았던 대표적인 케이스는 플랜트 공정 설계와 관련된 직군이었습니다.
   저희는 LLM이 학습한 방대한 데이터를 믿고 모든 분야에서 괜찮은 질문을 생성하리라 생각했지만 실제로는 그렇지 않았습니다. 플랜트 공정 설계의 경우, 검색해보면 자료가 생각보다 많이 나오지 않았고 이는 LLM의 답변 퀄리티와 그대로 연결됩니다. 너무 뻔한 질문을 하거나 면접에서 절대 나오지 않을 것 같은 헛소리같은 질문도 나오기도 했습니다.

3. 실질적으로 면접을 준비하는데 도움이 되지 않는 서비스.

   면접 질문을 생성해주는 건 좋았지만, 면접 종료 후 나오는 내용들은 그렇지 않았습니다. 나의 답변에 대한 평가는 결국 조금 더 자세하게 설명하면 좋았을 것이다.라는 내용으로 귀결되고 이는 좋은 피드백이라고 할 수 없습니다. 이 외에는 딱히 더 제공하는 게 없으니 실질적으로 면접 예상 질문 스크립트를 대신 짜주는 서비스 정도로 국한되었다고 보이네요.
   
   그리고 실제로 이 내용은 소마 최종발표에서 피드백으로 많이 받았습니다. 면접 준비를 위해 도움이 될 요소가 부족해보인다. AI 서비스이니 답변하는 말하기 빠르기라던지, 영역별로 평가하여 레이더차트로 표현하여 부족한 부분을 체크하기 쉽게 한다던지 개선이 필요해보인다. (+모범답안)

4. 불친절한 UI/UX

   가상 면접이 언제 끝나는지, 몇개의 질문이 남은건지, 내가 답변한 시간은 어느정도 소요했는지 등 사용자에게 불친절한 부분이 많았습니다. 개발자인 저희는 로직을 알고 있기 때문에 예상이 되지만, 아무것도 모르는 사용자들 입장에서는 모르니 생긴 문제였습니다.

앞으로 계획

1. 서비스 제공 범위 축소
2. LLM 파이프라인 설계
3. 아키텍쳐 고민하기
4. 프레임워크 스프링으로 변경 (Option)