1. 대회설명

Overview

• 소개
  Dialogue Summarization 경진대회는 일상 대화를 효과적으로 요약할 수 있는 모델을 구축하는 대회이다. 대화 중 요약의 필요성과 이를 통해 주관적 오류를 최소화하는 것이 목표이다. 우리는 이번 대회를 통해 대화 요약 모델 개발을 완성할 것이다.

• 모든 데이터는 .csv 형식으로 제공되고 있으며, 각각의 데이터 건수는 다음과 같습니다.

  	train : 12457
  	dev : 499
  	test : 250
  	hidden-test : 249

Timeline

• 2024.08.29 ~ 2024.09.02 - 대회 시작, 데이터 EDA와 Baseline 분석
• 2024.09.03 ~ 2024.09.06 - 모델 설정, 학습 및 파인튜닝
• 2024.09.09 ~ 2024.09.11 - inference 튜닝

Model descrition

• Kobart (digit82/kobart_summarization)
• T5-Large (lcw99/t5-large-korean-text-summary)
• Llama3 (beomi/Llama-3-Open-Ko-8B)

2. 목표와 결과

Kobart 완전정복하기

• KoBART는 한국어에 특화된 BART 모델이다. BART는 Facebook AI에서 개발한 sequence-to-sequence 모델로, 주로 텍스트 생성, 요약, 번역 등에 사용된다. KoBART는 이 BART 모델을 바탕으로 하여, 한국어 데이터를 사용해 사전 학습된 모델이다.

• BART의 구조는 인코더와 디코더로 이루어져 있는데, 인코더는 입력된 텍스트를 분석하고, 디코더는 그 텍스트를 바탕으로 새로운 텍스트를 생성한다. KoBART는 이러한 구조를 기반으로 하여, 한국어 텍스트의 요약, 생성 등에서 우수한 성능을 보인다.

• 이를 바탕으로 digit82/kobart_summarization은 KoBART를 활용해 한국어 텍스트 요약 작업을 수행하는 프로젝트이다.

장점:

• 한국어 특화: KoBART는 한국어 데이터를 바탕으로 학습되었기 때문에, 한국어 문장을 다루는 다양한 작업에서 높은 성능을 보인다. 특히 한국어의 어순이나 문법적 특성을 잘 이해하여 자연스러운 요약과 생성이 가능하다.

• 범용성: KoBART는 BART의 인코더-디코더 구조를 따르기 때문에, 요약뿐만 아니라 번역, 텍스트 생성 등 다양한 자연어 처리 작업에 적용할 수 있다.

• 사전 학습된 모델 활용: 이미 대규모 데이터로 학습된 모델이기 때문에, 추가 학습(fine-tuning)을 통해 특정 도메인에 쉽게 적용할 수 있다. 예를 들어 뉴스 요약이나 문서 생성 같은 작업에 특화된 모델로 빠르게 변환 가능하다.

• Pretrained 모델 지원: KoBART는 이미 공개된 사전 학습된 모델이기 때문에, 별도의 대규모 학습 없이도 바로 사용할 수 있어 효율적이다.

단점:

• 대규모 학습 데이터 필요: KoBART를 특정 작업에 맞춰 미세 조정(fine-tuning)할 때, 여전히 대규모의 학습 데이터가 필요하다. 데이터가 부족하면 모델의 성능이 떨어질 수 있다.

• 한국어 외의 언어 한정성: KoBART는 한국어에 특화되어 있기 때문에, 다른 언어를 다룰 때는 성능이 크게 떨어질 수 있다. 다국어 작업에는 적합하지 않다.

• 메모리와 연산 자원 소모: BART 모델의 특성상 인코더와 디코더가 모두 사용되기 때문에, 훈련 및 추론 과정에서 많은 메모리와 연산 자원이 필요하다. 특히 긴 문장이나 대규모 데이터를 처리할 때 이 문제가 더 두드러질 수 있다.

• 모델 크기: KoBART는 대규모의 파라미터를 가지고 있기 때문에, 실제로 모델을 배포하거나 실시간 작업에 사용하려면 최적화 작업이 필요할 수 있다.

kobart로 시도한 것들

• 번역어투임을 감안하여 영어로 번역후 bart 요약 후 다시 번역. -> 번역에서의 오류 + 요약에서의 오류가 가중되어 좋은 결과를 얻지 못함.
• rouge 점수를 이용하여 모델을 업데이트 시키기 위해 강화학습 알고리즘을 이용하여 모델학습
• kfold
• kfold + 강화학습

위의 모든 것들이 baseline을 넘지 못하였다.

• private 기준으로 가장 좋은 점수를 받았던 모델은 baseline에서 max_length를 1024/512로 바꾼것이다.
• 그리고 오히려 gogamza/kobart-summarization의 점수가 private에서 좋게 나왔다!!!

아쉬웠던 점

• 개인적으로는 계속 kobart만을 파인튜닝하려고 노력했는데, 결과적으로는 잘되지 않았다. 데이터증강을 시도하다가 하지 않았는데 그게 아쉽다.

3. 새로운 시도

이번엔 엑셀 점수저장을 좀더 잘했다!

• 마지막에 가서는 내가 막 올려서 점수저장을 잘 못한건 있지만, 다른 조원들이 훌륭히 완벽히 해주었다. 나도 좀더 확실히 올릴 필요가 있다.

4. 프로젝트 후기

• 다른 조원들이 LLAMA나 T5등을 파인튜닝하면서 많은 것을 배우신 것 같았다. 대회는 끝나지만, 남은 온라인 수업과 함께 요즘 유행하는 모델들을 공부하고 직접 다루고 싶다. 그렇지만 kobart 만큼은 정말 많이 알고가서 뿌듯하다.

5. 다음 대회에서 할 일

마지막 대회에는 다시 열정 탑재가 필요!

• 솔직히 이번대회를 열심히 한다고는 했지만, 아이들의 여름방학이 시작되어 대회가 계속되면서 많이 지쳤었다. 그래서 마지막 튜닝을 하는거에서 좀 더 시간을 할애하지 못한 부분도 있었다. 게다가 현재는 코로나일지도 모른다는 진단까지 받은 상태 ㅎㅎㅎ 대회 시작전에 충분히 앓고 충분히 마음을 다 잡은 후 다시 새로운 마음으로 마지막을 열심히 공부하고 끝내고 싶다.

화이팅!!