[NLP] 1-2. 중간 멘토링을 통해 얻은 인사이트

1️⃣ 과제 개요

• Task: 구어체 기반 다자 대화를 요약하는 문어체 요약문 생성
• 데이터 구성
  • Multi-turn 대화 (최소 2명~최대 7명)
  • Output은 관찰자 시점의 요약문

2️⃣ 데이터 구조 및 노이즈 이슈

⚠️ 주의해야 할 부분

• 화자 수가 많을수록 의미 없는 발화 포함 가능성 ↑

  • 특히 3명 이상 등장 시, 리액션/잡담 등 노이즈 많음
  • 이런 대화가 test set에 존재할 경우 성능 저하 우려

• 명확한 정제가 필요:

  • ㅋㅋㅋ, ^^, <br>, \n 등 구어체 특유의 표현 처리
  • 일부 데이터에 HTML 태그나 escape 문자 포함

✅ 정규표현식 기반 전처리 적극 활용 필요
✅ 불용어 사전 구축 + 형태소 분석 (ex. KoNLPy)

3️⃣ 증강 전략 (Augmentation)

✅ LLM 기반 증강: Solar API

• Few-shot 방식 + 토픽 정보 명시 → 성능 향상
  • zero-shot < one-shot < few-shot
  • 특히 summary 증강 시 few-shot은 필수

⚠️ 증강 시 유의사항

항목	설명
역번역 방식	대화 구조 깨짐 → 비추천
의미 없는 문장 증강	오히려 모델 성능 악화
증강 수량	최소 1000건 이상부터 효과 있음

`{   "topic": "택시 예약",
	"dialogue": "...",   
	"instruction": "유사한 상황의 대화를 구어체로 생성하고 요약도 함께 작성해주세요.",   "examples": [     
		{"dialogue": "...", "summary": "..."}   
	] 
	}

---

4️⃣ 토픽 기반 클러스터링

❓ 왜 필요한가?

• 데이터 주제가 세분화되어 수작업 분류 어려움
• 같은 주제의 대화끼리 묶으면 → 증강 시 컨텍스트 안정화 가능

고려 중인 방법

• Sentence-BERT + KMeans / UMAP + HDBSCAN
• 결과 → 토픽 태그 부여 → 프롬프트에 활용

5️⃣ 전처리 전략

• 일부러 노이즈 삽입된 데이터 → toy data 아님!
• 다음 항목 정리 필요:

노이즈 유형	처리 방법
HTML 태그	정규표현식 제거
반복 문자 (ㅋㅋ, ...)	축약 or 제거
잘못된 줄바꿈	통합 or 구조화
불필요 감탄사, 이모티콘	불용어 사전 기반 제거

✅ 평가 지표는 형태소 단위 평가 → 전처리 퀄리티가 곧 점수와 직결

6️⃣ LLM + QLoRA 적용 중 어려움을 겪고 있는 상황

📌 적용 팁

• Solar LLM 사용 시:
  • 사이즈 큼 → 데이터도 많이 필요
  • 기존 데이터로 pretrain → 증강 데이터로 추가 fine-tune
    
• QLoRA 활용 시:
  • LoRA 파라미터 (q, k, v, o) 모두 사용하는 것이 좋음
  • fp16으로 학습했다면 이후에도 fp16 유지 필요

🔤 프롬프트 작성 시

• 한글 LLM이더라도 프롬프트는 영어 추천
• 단, output이 한글로 나오게끔 명시 필요

7️⃣ 평가 지표 이해

• ROUGE-N, ROUGE-L
  • n-gram 단위 겹침 기반 점수
  • n이 높을수록 더 정밀한 평가

예시: Gold: the cat was under the bed,
Pred: under the bed there was the cat
→ ROUGE-1은 높지만 ROUGE-2/ROUGE-L은 낮을 수 있음

• LLM 기반 평가 지표도 등장했지만, 본 대회는 ROUGE 기반

✅ 요약 정리

항목	실무 적용 팁
전처리	정규표현식 + 형태소 분석 필수
증강	토픽 기반 + few-shot LLM 추천
모델	Solar + QLoRA 적절히 결합
클러스터링	Sentence-BERT 임베딩으로 dialogue 주제 묶기
평가	ROUGE 기반 + 형태소 단위 평가 고려