전세계 AI 1위 대학에서 2달간 파견연구를 다녀오다(feat. 저는 주로..웹앱개발을 했는데요..) - 1(지원편)

2월에 선정되어 4월부터 연구를 진행하며 지내다 6~8월(2-3달)간 AI 1위 대학 카네기멜런 대학교에 다녀와 2일전에 귀국 했습니다 :)

비록 연구는 한국에서도 계속되지만 2달간 얻은 인사이트를 공유하고자 해당글을 작성하게 됐습니다.

저는 주로...

저는 주로 웹/앱개발을 해왔고 요즘 유행하는 연구 주제 단골 AI와는 일면식도 없던 사람이였습니다.

보면 이런저런.그냥 서비스만드는 작업들을 많이 해왔습니다.

그러던 와중.. 학교에 올라온 공문

마침 학교에 해외 파견으로 협력 맺은 학교가 카네기 멜런 대학교, 싱가포르 대학교 2곳이 올라와
싱가포르는 지난해에 창업발표로 방문하여 매우 습하고 더움을 맛봤기에 당연히 배제되었고
마침 해당 공문이 올라왔을때가 실리콘벨리에 머물고 있을때여서

아..! 미국!!!!!! 좋아!!!!!살고싶어!!!!! 나 미국갈래!!!!!!!!!!!

라는 마음을 가지고 있었기에 뒤도 안돌아보고 카네기 멜런 대학교에 지원하게 됐습니다.

하지만 분야는 RI(robotics institute) 였따..

제가 이때까지 공부해왔던것과 다른 분야의 연구실이였고 갑자기 로봇형이 왜나와!?
하는 분야였습니다.

하지만 제 마음은 미국에 어떻게 계속 머물 수 있을까..
미국에 빠져있었기에 아, 그렇다면 한번 이쪽 분야에 대해서 알아보자!라는 마음에
Robot쪽과 AI쪽에 대해 논문을 보고 공부하며 지원서를 작성했습니다.

지원서 합격, 그리고 인터뷰

지원서 합격 공고를 받았으나 합격 대상자에는 자대 대학원 입학희망생이거나 학석사 연계를 하거나 연구실 소속 학생들이 우선 선출 대상자였습니다.

하지만 그 대외활동과 프로젝트만 주구장창한 저에게는 연구와 자대 대학원 어느곳과도 관련 없었죠

그 상태에 인터뷰를 준비해가며 제가 왜 미국에 가야하는 지와 저의 생각을 토대로 인터뷰를 준비했습니다.

인터뷰에서는 어떤걸 물었나요?

인터뷰는 해당 대학과 협력 연구를 진행하고 있는 교수님과 봤고 질문은 당연하게도 왜 미국에 가고 싶은지, 왜 이 대학을 선택한건지(단순 좋은 대학이라서인지), 가서 뭘 한건지, 앞으로 뭘 하고 싶은지, 자대 대학원은 희망 안하는지에 대해서 물었습니다.

나의 답변은...

블라블라 많은 답변을 했습니다.
기존 로봇과 세계 동향이나 AI에 관한 생각도 많이 하고 있는 상태였으며 해당 생각을 토대로 답변을 드렸습니다. 무엇보다 앞으로 하고싶은 것이나 자대 대학원에 관해서는 대학원은 희망하는데, 유학을 희망한다고 하니 그 이상은 말씀하시지 않고 오히려 유학에 대한 조언을 받았습니다(교수님도 유학파출신이여서 그런가..ㅎㅎ)

그렇게 긍정적으로 인터뷰가 끝나고, 최종 선정되어 4-6월 미국가기 이전까지 기존 연구에 대한 논문 리뷰를 진행하였습니다.
https://arxiv.org/abs/2401.08053
이 논문이며

Accurate representation in media is known to improve the well-being of the people who consume it. Generative image models trained on large web-crawled datasets such as LAION are known to produce images with harmful stereotypes and misrepresentations of cultures. We improve inclusive representation in generated images by (1) engaging with communities to collect a culturally representative dataset that we call the Cross-Cultural Understanding Benchmark (CCUB) and (2) proposing a novel Self-Contrastive Fine-Tuning (SCoFT) method that leverages the model's known biases to self-improve. SCoFT is designed to prevent overfitting on small datasets, encode only high-level information from the data, and shift the generated distribution away from misrepresentations encoded in a pretrained model. Our user study conducted on 51 participants from 5 different countries based on their self-selected national cultural affiliation shows that fine-tuning on CCUB consistently generates images with higher cultural relevance and fewer stereotypes when compared to the Stable Diffusion baseline, which is further improved with our SCoFT technique.

2024 CVPR 선정된 논문의 후속연구를 진행하기 이전 리뷰를 쭉쭉하다......
6월이 다가와 미국에 방문하게 됐습니다.(이때까지는 미국 가서 뭘할지 아무도 몰랐답니다 하하)

이건 다음편에서 계속.,..