BoostCamp AI Tech 특강 내용은 기록할 수 없어 느낀점을 남깁니다.
강의 주제
자연어 처리를 위한 언어 모델의 학습과 평가 by 박성준 마스터
내가 만든 AI 모델은 합법일까? by 문지형 마스터
What I Felt
최근 자연어 처리의 흐름
이제 자연어 처리 분야는 대규모 학습 모델에 파인 튜닝을 통해 원하는 태스크를 달성하는 방향으로 가고 있다.
이렇듯 언어 모델이 특정 태스크 뿐만 아니라 다른 태스크에도 사용되는 것을 양방향 모델링이라고 한다. BERT 나 GPT 같은 요즘 핫한 모델들이 이에 속한다. Attention 으로 문장 내 단어들의 관계를 잘 파악하는 모델을 만든 후, 이 모델에 여러 태스크를 학습시키는 것이다.
언어 모델 평가
이전에는 한 태스크 (QA, 단어 예측 등) 에 한정되어 모델들이 개발되었다. 이제는 앞서 말한 양방향 모델링으로 모든 태스크에 대한 평가를 하여 모델의 언어 능력을 평가한다.
이렇게 만들어진 언어 모델들은 일정한 평가 기준이 있어야 한다. 이를 위해 뉴욕대에서 GLUE 라는 평가 기준을 만들었고, 더 자세히는 여러 태스크들에 대한 데이터셋을 제공하여 각 모델들이 GLUE 를 통해 성능을 비교할 수 있게 하였다.
한국어 자연어 처리
한국어 태스크에 대한 평가기준으로 KLUE 가 나왔다. 그리고 P스테이지에 KLUE 를 처리하는 프로젝트가 있다. 이 프로젝트에 참여하여 한국어 자연어 처리 프로세스와 성능 개선에 있어 좋은 경험을 얻고 싶다!
저작권법에 대한 이해
사람의 창작물은 자연적으로 저작권이 생긴다. 저작물을 사용하기 위해서는 일반적으로 CCL 이나 공공누리 같은 라이센스를 지켜야 한다.
나의 창작물에 대한 권리를 지키고 싶다면 라이센스를 잘 부착하자 :)
데이터 수집과 저작권법
AI 모델을 학습하기 위해 데이터를 모아야 하고 이 데이터가 저작물일 경우 문제가 생긴다. 아직 AI 분야에서 저작물을 사용하는 경우에 대한 법이 나오지 않았지만 현재 추진중이니 관심을 가지고 지켜봐야겠다.
AI 모델과 저작권법
소프트웨어 분야는 논문 사용에 대해 프리하다. 논문의 모델을 구현하여 영리 목적으로 사용해도 문제가 없다고 한다. 심지어 HuggingFace (아파치 라이센스) 에서 제공하는 모델을 사용해도 문제가 없다는 점이 놀랍다. (오픈소스 문화 최고👍🏻)
이제 생각해 볼 문제로는 AI 모델이 생성해낸 창작물에 대한 저작권이다. 이는 어떻게 생각해야할까?
좋은 멘토
문지형 마스터님이 좋은 멘토에 대해 말씀해주셨다.
귀감이 되는 사람. 필요한 순간 필요한 말을 하는 사람.
생각만 해도 멋지다.
주니어 때는 같이 일하고 싶은 사람의 덕목을 채우고,
시니어가 되면 좋은 멘토의 덕목을 채우고 싶다.
