AI top 100 예선참가 회고

개요

https://aitop100.org/about

• 대회일자 : 03/14(토) 14:00 ~ 16:00 [2시간]
• 대회내용 : 대회시간 내 5개 분야의 다양한 문제들을 AI Tool을 활용하여 해결

풀이법(접근법)

출력값 - 인간검토

• Claude-code로 생성된 답안에 대한 검수를 진행

Tool : Claude-code

"이 문제에 대한 답안을 생성하고, 그렇게 판단한 근거 자료를 붙일 것"

• Gemini : Claude-code의 답안을 검수할 때에나 보조적으로 이용하였음
  ex) 한자 신문에서의 정답 추출한 근거를 적색 박스 표시해 보아라 등...

한계

• 답안 및 근거자료에 따른 인간 검수 방식으로 검수에 많은 시간 소요로 시간 초과
• 디브리핑 단계를 고려 못함
  • vscode의 claude code 세션 종료 $\rightarrow$답안의 판단 및 근거를 추출하지 못함 $\rightarrow$ 내용 회상으로 디브리핑 할 수 밖에 없었음

회고

Agent 병렬 처리 필요

• 5개 분야의 100개 문제(총) 대략적으로 분야별 20여개를 처리하기 위해 병렬로 접근하였으면 빠르게 답을 추출하고 검수할 수 있지 않았을까?

디브리핑 중심의 문제 접근 : Report.md 생성

• 정답 및 풀이과정을 생성해 낼때, 최종 Report를 고려 (접근법의 이유, 유용한 프롬프트 등 고려)
• 정답 및 풀이과정 검수 내용을 최종 Report 작성을 위한 Input 값으로 집어넣으면 어떨지?

개인감상

• 문제의 파악, 발상, 접근, 구현이 AI가 더 빠르기에, 이를 검수할 수 있는 데이터 파이프 라이닝과 자동화를 구현해야 하는 것 아닌지?

IDEA : 각 단계별 AI 판단의 논리적 정합성 검토

• 데이터 전처리 Tool : 기본적인 데이터 가공 Tool이나 프로그램, 스크립트 등은 미리 구비
  • Kaggle에서 데이터 전처리 하는 유형들을 파악하면 도움되지 않을까?
• 질문 - 대답을 Json이나 DB의 형태로 저장해두고 각 입-출력을 추상화 한 후에 이것의 논리적 정합성을 빠르게 검토하는 것은 어떨까?
• 혹은, Thinking 과정을 추출하고 요약해서, 논리적 정합성이 맞지 않는 부분이나 동의할 수 없는 부분을 읽으면서 AI에게 Feed-back할 수 있지 않을까?