📌도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

세부일정

- 대회 기간 : 2024년 01월 29일 10:00 ~ 2024년 03월 11일 10:00

- 대회 종료 : 2024년 03월 11일 10:00

- 코드 및 PPT 제출 마감 : 2024년 03월 14일 23:59

- 코드 검증 및 2차 평가 : 2024년 03월 15일 00:00 ~ 2024년 03월 24일 23:59

- 최종 수상자 발표 : 2024년 03월 25일 10:00

상금

1위 - 600만원
2위 - 300만원
3위 - 100만원

배경

• 시트, 마루, 벽면, 도배와 같은 건축의 핵심 자재들의 품질 관리와 하자 판단

주제

• 도배 하자 도메인에 대한 질의를 바탕으로 지능적인 응답을 생성하는 AI 모델 개발

태스크

• QA

규칙

세부 규칙 1 - 리더보드

• 평가 산식 : 코사인 유사도
• Public score : 전체 테스트 데이터 중 사전 샘플링된 40%(?)
• Private score : 전체 테스트 데이터 중 100%

세부 규칙 2 - 평가 방식

• 1차 평가 : 리더보드 Private Score
• 2차 평가 : 2차 평가 희망팀의 "코드 및 PPT 제출" -> 코드 검증 및 2차 평가 진행
  - Private 상위 10팀은 필수 제출
  • 2차 평가는 PPT 서면평가 + 자체 비공개 질의 데이터 응답 결과에 대해 주최 측의 정성 평가

2차 평가 세부 기준

• 비공개 질의 데이터는 공개되지 않고 제출된 모델을 주최 측이 추론하여 직접 정성 평가(내부 평가)
• 내부 평가의 추론 리소스 평가는 패논패, pass는 5점 non-pass는 0점
• 내부 평가의 컴퓨팅 리소스는 A100-80GB*2대(VRAM 160GB) 해당 환경 내에서 가능해야 함

세부 규칙 3 - API, 외부 데이터 및 사전 학습 모델

• 데이터 : 법적 제약 없으며, 변경 및 재배포 가능한 외부 데이터 사용 가능
• 모델 : 법적 제약 없으며, 오픈 소스 사전학습 언어모델 사용 가능(HuggingFace의 한솔데코 모델은 불가)
• API를 통해 외부 데이터 수집 및 전처리 가능, 그러나 API로 추론은 불가능
• 반드시 언어모델 학습 과정이 있어야함

세부 규칙 4 - 코드 및 PPT 제출 규칙

• 대회 종료 후 2차 평가 대상자 : 코드와 PPT를 dacon@dacon.io 메일로 기한 내에 제출

• 제출한 코드는 Private Score 복원이 가능해야 함

  • 코드 파일 확장자: .py, .ipynb
  • 코드와 주석 인코딩: UTF-8
  • 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)
  • 개발 환경(OS) 및 라이브러리 버전 기재
  • 코드에 데이터 입/출력 상대 경로 포함

• 제출 파일 목록

  • Private Score 복원이 가능한 전처리, 학습, 추론 코드 파일 (필수)
  • Private Score 복원이 가능한 모델 weight 파일 (필수)
  • 내부 평가용 추론(Inference) 코드 파일 (필수, 중요)
  • 사용한 외부 데이터 파일 및 출처 (필수)
  • 서면 평가 PPT 자료 (필수)

세부 규칙 5 - 유의사항

• 1일 최대 제출 횟수: 3 회
• 사용 가능 언어: Python
• 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩
• 모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 수상 제외(평가 데이터 Pseudo Labeling 포함)
• 반드시 제공 데이터로부터 언어 모델 학습의 과정이 존재해야하며, 학습된 언어 모델을 바탕으로 추론
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 2개를 선택
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정