ICT 인턴십 회고(리턴제로)

개요

2023/09 ~ 2023/12 기간동안 음성인식 기술력을 갖춘 회사인 리턴제로에서 지냈던 기간들을 회고하고자 포스팅을 한다. ICT 인턴십이라는 학기중에 인턴을 하면서 학점을 받을 수 있는 제도가 있다. 나는 4학년 1학기 과정으로 학점도 받으면서 AI 관련 실무경험을 쌓고자 리턴제로에 지원했다. 직무는 총 ML Engineer, 프론트엔드, 백엔드 3개의 직무로 지원할 수 있었는데, 나는 AI 분야로 취업을 준비하고 있었기 때문에 ML Engineer로 지원했다. 다행히 합격해서 4개월간 인턴 생활을 했고, 아래부터는 4개월을 회고하는 내용이다.

어떤 업무를 했는가?

1. 블로그 포스팅
2. 리서처팀 채용 전환 과제
   1. espnet 성능 향상 실험
   2. CTC 논문 세미나

1. 블로그 포스팅

9월 4일 첫 입사를 하고 첫 업무가 주어졌다. 회사에 적응하는 차원에서 회사 음성인식 API 를 사용해보고, 이에 대한 블로그를 작성하는 것이다. 내용은 VITO 음성인식 API를 타사 API와 성능을 비교하는 내용이었다. 나중에 알았지만 내가 포스팅한 내용과 정확히 같은 기능을 하는 사내 라이브러리가 이미 만들어져 있었다. 다시보니 글을 좀 다듬고 싶다… 급하게 쓰다 보니 내용이 많이 산만하다. 성능 비교 부분만 보려면 전사결과(6)부터 보면 된다. 블로그 링크

2. 리서처팀 채용 전환 과제 - espnet 성능 향상 실험

인턴 1개월 남았을 때 즈음, 사수분께서 채용 전환에 관심이 있냐고 물어봐주셨고 관심이 있다면 남은 기간은 채용 전환 과제를 진행하면 된다고 했다. 나는 관심이 있다고 했고, 채용 전환 과제를 진행하기로 했다. 과제는 총 2개였고 병행해서 진행해야 했다. 하나는 espnet 이라는 음성인식 툴킷 오픈소스를 이용해 직접 End-to-End 음성인식 모델을 학습해보고 다양한 실험을 진행하는 과제였다. 또 다른 과제는 CTC(Connectionist Temporal Classification)논문에 대한 세미나를 진행하는 것이었다. espnet 과제는 1500줄로 된 bash shell 스크립트를 읽어야 했는데, 약 4일만에 학습을 돌리는 데에 성공했다. espnet 오픈소스에서는 다양한 데이터셋 각각에 레시피를 제공해준다. 나는 ksponspeech 데이터셋에 대한 레시피로 학습을 진행해야 했다. 레시피를 이용해 직접 학습한 결과 github에 제시되어 있는 성능을 재현하는 데에 성공했고, 더불어 evaluation 데이터셋에 대한 성능(CER, WER)은 이를 뛰어 넘었다. config를 건드리면서 encoder, optimizer, fine-tuning 등 다양한 실험들을 진행했으며 각 실험에 대한 보고서를 노션 페이지에 정리했다.

3. 리서처팀 채용 전환 과제 - CTC 논문 세미나

CTC 논문 세미나 과제로는 회사 리서처분들(약 10명, 이런 분들…) 앞에서 CTC 논문 세미나를 진행해야 했다. 논문 세미나는 처음 해보고, 음성인식 분야는 인턴을 하면서 첫 입문을 했기에 더 떨리는 자리였다. 이 논문은 음성인식 분야에서 매우 중요하면서도 2006년에 나온 논문이어서 리서처분들은 이미 빠삭하게 알고 계시는 논문이다. 그래서 질문이 매우 날카로웠고, 나는 질문의 의도조차 파악하지 못하는 질문들이 대부분이었다. 나중에 한 리서처분이 어려운 질문이었다고 답하지 못하는게 정상이라고 말씀해주셔서 조금은 위안이 됐지만, 그래도 ML 지식의 부족함을 뼈저리게 느끼는 자리였다. 그래도 어려웠던 만큼 얻은게 많은 경험이었다. 논문 세미나를 어떻게 준비해야 하는지와 이 논문이 해당 산업에 끼친 영향과 의의가 무엇인지 명확하게 아는 것이 중요하다는 점을 깨달았다.
CTC 논문 세미나 발표 자료

배운점

1. 내가 뭘 하는지 공유하는 능력

   어떤 Task가 주어졌을 때, 그것의 결과물은 공유가 되지만 과정에 대한 공유가 잘 안되는 경우가 있었다. 내가 뭘 하고있는지 잘 알리는 것도 junior의 중요한 역량이라는 것을 깨달았다.

2. 소통의 중요성

   whisper 모델을 다루면서 AI 관련 업무들이 많아지게 됐고, 이 과정에서 업무 분담에 불균형이 생겼었다. 모두가 알고 있었지만 그냥 넘어가다 어느날 이런 문제에 대해서 소통을 했고, 사수분의 적극적인 도움 덕에 모두가 만족하는 Task를 배정받았다.

   프론트, 백엔드 인턴분들은 데이터셋을 만드는 업무를 크게 의미있지 않은 프로젝트로 생각하고 있었고, 그들은 프로젝트에 점점 의욕이 없어지고 있었다. 안타까웠고 그들의 입장에서 생각해봤다. 요구사항들 정리해서 DB 설계하고 웹 디자인하는 그런 업무들을 하다가 크롤링하는 것은 잡무라고 생각할 수 있겠다고 조금은 이해되기 시작했다. 나는 안일해지는 분위기에 영향받기 싫었고 그럴바엔 그들이 만족할 수 있는 새로운 업무를 받아서 다같이 화이팅하는 분위기를 원했다. 여기까지 생각하고 나서 나는 새로운 업무를 달라고 요청해보는게 어떻겠냐고 소통을 시도했고, 사수분의 매우 적극적인 도움 덕에 모두가 만족하는 업무를 맡게 되었다. 결과적으로 프론트, 백엔드 인턴분들은 사내 프론트, 백엔드 개발자분들과 교류가 더 잦아지면서 모두가 화이팅 넘치게 남은 기간동안 보낼 수 있었다.

3. AI 최신 동향 Follow-up

   사내 메신저로 slack을 사용하는데, GeekNews를 가져오는 봇이 있었다. 엄청 유용한 내용들이 많았고, 특히 매주 이주의 ML논문을 번역해서 가져와주는 글을 항상 눈여겨 보았다. GeekNews만 틈틈이 챙겨보더라도 AI 산업의 움직임과 더불어 개발 트렌드를 따라갈 수 있겠다고 생각이 들었다.

마무리

ICT 인턴십을 준비할 때부터 AI와 관련없는 업무를 하게 되면 어떡하지라는 걱정을 했었는데, 다행히 리턴제로 인턴 기간 동안은 대부분은 내가 생각했던 업무들을 맡아서 만족스럽다. 채용 전환이 된다면 음성인식 분야를 제대로 공부해 볼 생각이다. 전환이 되지 않는다면, 전반적인 ML 지식과 요즘 생성 AI에 관심이 생겨 이쪽으로 공부해볼까 생각중이다.

학사 수준으로 AI 분야로 취직하는 것은 특히 요즘같은 취업난에서는 매우 힘든 것 같다. 나같아도 석사와 학사를 비교해서 뽑는다면 당연히 석사를 뽑을 것 같다. 석사가 되면서 갖추는 능력으로는 다양한 논문들을 읽고 분석해본 경험, 이를 통해 갖춘 ML 관련 지식 등이 있을 것 같다. 채용 전환이 되지 않는다면 이런 능력들을 키울 수 있도록 방학과 남은 학기동안 잘 계획을 해야겠다.

리턴제로에서의 인턴 경험은 오랫동안 좋은 기억으로 남을 것 같다. 음료와 닭가슴살, 핫도그 등을 맘대로 먹을 수 있도록 준비되어 있고, 라운지에서 각종 악기들을 원할 때 칠 수 있었다. 업무 환경, 복지 같은 것들을 통틀어 따져보자면, ICT 인턴십을 진행하는 기업 중에서는 상위 5% 안에는 들 것 같다. 게다가 리턴제로는 사람이 제일 중요한 회사라는 점을 자주 느꼈다. 정말 좋으신 분들이 많았다. + 엄청난 분들(CTO분이 ICPC world final 17위)이 많다… 배울 것들이 천지… 마지막날 출근날이 회사 송년회였는데, 많은 분들이 명함을 주셨고, 편하게 연락하라고 말씀해주셨다. 정말 좋은 경험이었다!