오늘 공부한 내용
1. NLP 모델, 특히 Transformer 계열 모델(BERT, GPT 등)은 입력 텍스트를 단어 단위가 아닌 토큰 단위로 처리하기 때문에 max_answer_length의 단위는 토큰이었다.
2. RoBERTa 논문을 읽었다.
3. git commit, push, PR을 통해 어느정도 git master가 된 것같다.
4. gradient_accumulation_steps 동작 원리에 대해 이해했다.
그냥 어느 때와 다른 없는 저녁 논문을 읽고 있었는데, 동생이 방에 놀러와서 대한민국에서 노벨 문학상 수상자가 나왔다고 말해줬습니다. 언제??????대한민국에서???????노벨 문학상???????
대학 면접을 볼 때 이런 이야기를 한 적이 있습니다.
"대한민국에서 노벨 문학상이 나오기 어려운 이유가 몇 가지가 있대요. 작품들이 영어로 많이 번역되지 않기 때문인데 제가 인공지능을 공부하고 작품들을 번역해서 대한민국의 작품을 세계에 널리 알리도록 하겠습니다."
실은 저의 꿈은 노벨 경제학상을 받는 꿈을 꿨던 적이있습니다. 컴공으로 진학하게 되어 노벨 경제학상과는 거리가 멀어지지만 그렇다면 대한민국의 품에 노벨 문학상을 안겨줄 수 있지 않을까해서 시작된 이야기입니다. 물론 그 당시에는 대학에 붙는게 너무나도 중요해서 인공지능에 관심이 없었지만 관심있는 척 했던 것도 사실입니다. 하지만, 대한민국의 노벨상이라니 너무 멋진 꿈이라고 생각했었죠. (김대중 대통령의 노벨 평화상도 있지만 그땐 제가 너무 어렸었기 때문에,,,내가 노벨상이라는 개념을 가진 후에 수상자가 나오길 바랬습니다.)
그 대학에 붙었고 이 이야기를 잊고 살았는데, 오늘 기억이 났습니다. 신기하게도 저는 자연어처리를 공부하고 있고 정말 대한민국에서 노벨 문학상 수상자가 나왔네요.혼자 너무 의미부터를 하는게 아닌가 싶지만,,,
옛날에 IMF가 터졌을 때 박세리 선수가 대회에서 우승을 했을 때 많은 사람들이 희망을 얻었다고 들은 적이있습니다. 그 때는 이해가 가지 않았었습니다. 근데 오늘 그 마음이 이해가 되었습니다. 노벨 문학상을 받았다는 소식을 들었는데 내 일처럼 너무나 기뻤기 때문이에요. 제가 감히 IMF 당시의 고통을 헤아릴수는 없겠고 그 때의 고통은 지금 제가 겪는 고통에 비할 수 없다는 사실은 너무나 잘 알지만,,,요즘 제 세상은 많이 우울하거든요. 우울한 나날들 중에 오늘 오랜만에 기쁜 하루였어서 이렇게 길게 글을 적었습니다.
