2020년도 인공지능 기술활용 교육 한달짜리를 수료한 후, 교육에서 만났던 다양한 전공생분들과 함께 팀을 이루어 AI 분석/활용 경진대회에 참가했던 적이 있다. 열심히 한 것도 있지만, 좋은 팀원들을 만나 운이 좋게도 최우수상을 수상할 수 있었다. 그 때 당시, 자연어처리의 'ㅈ' 자도 모르던 .. 인공지능 햇병아리 시절, 닥치는대로 논문을 찾아보고, 유튜브에 나와있는 교수님들의 강의를 밤새워 공부하면서 공부한 내용을 노션에 정리했다. 노션에 메모했던 것들은 1차적으로 강의필기를 하는 용도로 사용했기 때문에, 체계적으로 정리되지는 않았다. 복습하는 차원으로 이곳에 차곡차곡 정리하고자 한다. BERT = Bidirectional Encoder Representations from Transformer (transformer의 encoder를 사용하는데 bidirectional information만을 학습할 예정) ELMo : 뒤에서 부터 정보를 받아 바로 앞단어를 예측하는