[일기]

오늘은 'AIFFEL 대전'에서의 6개월이 시작되는 날이다. 합격한 날부터 두근두근 마음이 설렜다. 앞으로 잘 할 수 있을지, 아이펠 대전 담당자님들과 동기들과 잘 지낼 수 있을지 걱정을 하다가 드디어 시작날이 다가온 것이다.

드디어 둘째 날. 오늘은 스터디카페에서 수업을 시작하기로 했다. 집에는 가족들도 있고 가끔 조카들도 오기 때문에 조용한 곳에서 집중하고 싶었다.

AIFFEL대전에서는 매일 아침 조별로 구글 밋에서 모여 출석체크를 한다. QR코드를 찍어 HRD-net 출결관리 앱에 들어가 입실처리를 하고 30~39분 사이에 담당 퍼실님이 화면 캡쳐를 하신다.

오늘은 Git, GitHub, 그리고 마크다운에 대해서 배웠다. 오늘 역시 조별로 구글 밋에 모여서 공부했다. 오늘은 잠시 조원들과 어제 수업이 어떠했는지에 대해 이야기를 나누었다.

이번 주는 금요일부터 휴일이다. 연휴 내내 이번 주에 배운 내용을 복습하고 블로그를 정리하는 것이 내 계획이었다. 그러나 Git이 나의 발목을 잡았다. 에러 메시지는 안 뜨는데 왜 실행이 안 되는걸까?

어제 분명히 푹 쉰다고 쉰 것 같은데도 아침에 일어나기가 힘들었다. 버틸 수 있는 만큼 버티다가 일어나서 간단히 아침을 먹고 수업에 들어갔다. 온라인 강의라서 이런 점은 좋은 것 같다.오전에는 파이썬에 관해 공부했다.

어제는 노드와 CS231n을 조금 정리하다가 잤다. 노드는 다 끝내려고 했는데, 시간이 생각보다 많이 걸렸다. CS231n은 여전히 어렵다. Exploration 파트가 나갔다

어제, 아니 오늘 새벽에 잠이 들어서인지 부쩍 힘든 날이었다. 잠을 조금 자야한다는 생각 때문인지 다행히 일찍 눈이 떠졌다. 늦잠잘까봐 걱정을 했는데 다행이었다.오늘은 파이썬의 데이터와 파일에 대해 알아보았다. \

어젯밤에는 눈이 왔고 기온이 갑자기 영하 15도로 떨어졌다. 1시 반까지 CS231n 강의를 정리했다. 금요일에 CS231n 조원들과 배운 것을 공유하기로 했고, 목요일은 아마도 프로젝트 때문에 못 할 것 같아 반드시 끝냈어야 했다.

금요일은 다른 요일에 비해 상대적으로 마음이 편한 날이다. 오전에는 기초 과정인 Fundamental Node 를 공부하고 오후 나만의 글쓰기 시간에는 블로그 글을 작성하는 시간이다.

주말에는 Fundamental node를 정리했다. 다행히 하려고 했던 것을 알고리즘 문제 풀이 외에 대충이라도 할 수 있었다. 생각보다 많이 쉬기도 했다. 그래도 월요일 아침은 항상 피곤하다. Node 이번 노드가 분명 쉽다고 들었는데, 나는 왜 어려운 걸까? 처

오늘은 이미지에서 얼굴을 인식하여 스티커를 붙이는 앱을 만드는 프로젝트를 했다. 노드 자체는 어렵지 않아서 금방 했다. 그러나 얼굴의 좌표를 설정하고 스티커를 붙일 위치를 찾는 것이 힘들었다. 그림을 직접 그려서 좌표를 설정하고 계산하여 위치를 찾을 수 있었다.

드디어 이어폰이 도착했다. 고급스러운 포장과 내용물이 마음에 든다. 의자는 내일 도착한다고 문자가 왔다. 일찍 도착해서 기쁘다.오늘 배운 것은 운영체제, 터미널, 리눅스 명령어.

어제는 결국 아무 것도 못하고 쉬었다. 그래서인지 오늘 낮에는 피곤하지 않았다. 다른 조원들은 많이 피곤했던 것 같다. 오늘의 노드는 어려웠다.

오늘의 노드는 쉬운 편이었다. 양도 그리 많지 않았고 내용도 그리 어렵지 않았다. 예전에 R로 한 번씩 그려본 것이기도 했고. 그렇지 않았더라도 쉬운 내용이었다.

지난 주 금요일부터 수업 끝나고 혼자서 공부하는 시간이 거의 없었다. 그 이유가 뭘까 생각해 봤는데, 우선은 3주간 공부하면서 지친 게 그 원인이었다. 3주간 평균 새벽 3시에 잤으니 피로가 누적될 만 하다.

오늘은 새 노트북으로 바꾸는 날. 아침부터 동탄역에 가서 SRT를 타고 대전역으로 갔다. 노트북을 교환하기 전에 잠시 고시원에 들러 방을 구경하였다.

나날이 블로그가 일기장이 되어 간다. 정리할 것들이 산더미인데, 체력도 안 따라주고 프로젝트나 예습 등 할 것들이 많다. 아직 1달도 안 지났는데 왜 이렇게 힘들까?

어제는 벙개 강연을 듣고 프로젝트를 완성하였다. 사전학습된 데이터 사전을 가지고 임베딩을 한 후 성능 개선이 잘 안 되어서 며칠째 고심하고 있다. 새벽 1시까지 하면서 내린 결론은 그냥 포기하자는 것이었다.

글쓰기 시간이다. 오늘 오전에 노드를 다 마치지 못해서 노드를 하다가 너무 졸려서 오늘의 일기를 쓰러 왔다. 책상에 오래 앉아 있었더니 힘들어서 침대로 왔다가 잠이 들 뻔했다.

어제 일기를 못 썼다. 목요일의 프로젝트를 하면서 뭐에 정신이 팔렸었는지 깜박했다. 학습시킬 때 좀 쓸걸. 어제 아침에 월요일 풀잎스쿨 퍼실님께 슬랙으로 디엠을 받았다. 잘못한 것도 없는데 괜히 찔려서 '내가 뭘 잘못했나?'하고 생각하고 있었는데, 감사하게도 4번째 프

오늘의 노드와 프로젝트는 GPT-2와 같은 문장 생성기를 만드는 것이다. 노드에서는 셰익스피어 연극 대본으로, 프로젝트에서는 팝송 가사로 문장 생성기를 만들었다.

오늘도 무사히 끝났다...오늘의 노드는 파이썬의 기본에 대해서 배웠다.

어제 코딩마스터 수업을 듣고 기분이 저조해져서 저녁 내내 놀았다. 밀린 기사도 보고, AI 관련 유튜브 영상도 보았더니 시간이 후딱 지나갔다. 이해가 안 되었던 AI 관련 기사나 영상들이 이제는 조금 무슨 말을 하고자 하는 건지 이해가 된다.

ㅇㄹㄴ

아침에 일어나는 건 힘들다. 오프라인을 하면 더 일찍 일어나야 하는데, 할 수 있을지 걱정이 벌써 된다. 다음 주에 1번째 해커톤이 있을 예정이라는 이야기를 지난주에 들어서 후기를 찾아보았다.

어제는 결국 프로젝트만 완성하고, 눈이 너무 아파서 잠이 들었다. 오늘의 노드와 프로젝트는 추천 시스템 만들기였다. 이름은 아이유 팬에게 노래 추천하기였던 것 같은데, 추천 시스템에 사용될 노래 목록은 팝송이었다.

매일 출결, 퇴결 시간을 찍었는데, 알고 보니 고용노동부 앱에서 확인할 수 있는 곳이 있었다. 구석에 숨겨놓아서 그동안 몰랐었다. 그래서 쓸데없는 수고하지 않고 이제부터는 고용노동부 앱을 확인할 생각이다.

오늘은 나 혼자만의 캐글하기였다. 예상대로 어려운 노드였다. 오늘 꼬박 노드만 하는라 다 보냈다. 오전 중에는 8-7정도까지 하고 오후 4시쯤 노드를 마칠 수 있었다. 점심에 출결방에 퍼실님이 없자 gather에서 소리가 들려서 가보니 다른 조원들이 모여서 무엇인가를

일기 쓰는 것을 잊을 뻔 했다. 오늘 너무 힘들다. 오늘 아침메 일찍 일어나서일까? 추노 8시 반부터 9시 반까지 추노 오리엔테이션을 했다. 앞으로 어떻게 진행될건지에 대해 이야기했다. 매일 8시반에 모이고 월요일은 exploration, 나머지 날에는 fundame

아, 졸리다. 오늘 새벽 3시 다 되어서 잤더니 너무 졸리다. 새벽에 무슨 생각으로 늦게 잔 걸까? 긴장을 해서인가 잠이 일찍 깼다. 오늘은 첫 Excon의 날. 어제 정리를 했기는 했는데, t-sne 부분은 이해하지 못했다.

오늘의 스터디는 어제 배운 신경망을 복습하는 시간을 가졌다. M님이 문제를 내주시고 20분간 푼 후, 각자 돌아가면서 답을 맞춰보기로 했다. 사실 나는 어제 미리 풀어서 20분간 어제의 내용이 정리된 노션 블로그를 보면서 시간을 보냈다.

어제부터 오늘 3시까지 해커톤이 계속되었다. 이번 해커톤은 아쉬움이 많이 남았다. 어제 하루는 감을 못 잡아서 헤매고, 오늘은 시간이 부족해서 하이퍼 파라미터를 바꾸다가 시간이 모자라서 기본 모델로만 돌린 결과물을 제출했다.

구정과 주말 동안 많은 것을 하고 싶었는데, 생각보다 많이 하지 못했다. 하릴없이 시간만 흐른 것 같다. 새벽에 늦게 자서인지 오늘은 일어나기 너무 힘들었고 종일 피곤했다. 아마 오늘은 일찍 잠들지 않을까?

어제 밤에 한 일: 코딩마스터 예습, 수요일 스터디 준비 조금, 오늘 스터디 준비 조금오늘은 어제 배운 텐서플로우2를 이용하여 API 모델 만들는 것을 복습했다.

어제는 스터디 준비하느라 시간을 다 보냈다. 잠이 부족하다. 오늘의 스터디는 객체지향 프로그램에 대한 것이었다. 처음에는 조용해서 왕언니가 스터디 방식을 고려해보겠다고 했다. 그러다 질문이 2개가 나왔다.

오늘은 어제 배운 데이터크롤링 복습시간이기 때문에 어제 밤에 노드를 다시 정리해야 했다. 어제 낮에 마무리 못한 것을 다 끝내고 다시 한 번 보았지만 사실 잘 이해가 되지 않았다. 크롤링이니 API니 1장으로 어떻게 이해를 할까?

어제 밤에는 캐글 마지막 시도를 했지만 결국 점수가 안 떨어져서 그만 두었다. 조원들의 조언대로 했는데도 점수가 차이가 없었다. 뭐가 문제인걸까?

주말동안 무엇을 했나 싶을 정도로 한 게 없는 것만 같다. 금요일 저녁에는 피곤해서 일찍 잤고, 토요일 3시쯤부터 CS231n강의 요약을 했다. 하지만 이해를 하지 않고 강의 내용을 정리한 것이라 나중에 다시 정리해야할 것 같다.

어제는 '아이효' 첫 모임을 구글밋에서 열어서 참석하였다. 1시간 반동안 앞으로의 일정에 대해서 이야기 나누었다. 3월부터 우선은 온라인으로 시작하고, 알고리즘과 노드 정리를 하기로 했다. 어떻게 진행될지는 모르겠지만 기대된다. 나도 진정한 아이효가 될 수 있을까?

어제는 눈도 아프고 너무 피곤해서 일찍 잠들었다. 오늘 스터디는 객체지향프로그램, 클래스에 대한 부분이었다. 지난 주에 올려주신 사이트 공부를 하고, 강의도 미리 들어서 이해할 수 있을 것이라 생각했지만 오판이었다.

어제는 일찍 자려고 했는데, 프로젝트 11 때문에 늦게 잤다. 요약문을 비교해서 분석하고 있는데, 무엇을 잘못 눌렀는지 리셋이 되어버렸다. 다시 돌려야 하는 김에 조금 더 수정하느라 새벽 3시에 잤다.

어제는 프로젝트 11을 제출하고 아무 것도 안 했다. 어제 제출한 프로젝트 11에서 마음에 안 드는 부분이 떠올랐다. 그래서 아침에 그 부분을 지우고, 다시 올렸다. 그런데 생각해보니 그래도 되는가? 싶은 거다.

주말과 휴일에는 푹 쉬면서 프로젝트를 했다. 스터디 준비도 끝내려고 했으나 감이 안 잡혀서 우선은 미뤘다.

오늘은 우수프로젝트 발표를 하는 날이었다. 우선 2번 우수프로젝트에 선정되신 L님께서 자신이 프로젝트를 할 때 중점을 두시는 부분을 설명하셨고, 몇 분이 자신의 정리 방법을 공유하셨다.

드디어 발표를 끝냈다. 발표를 끝내고 나니 홀가분하다. 부족했는데도 잘 들었다고 해주시는 스터디원들에게 감사했다. 발표 준비는 했지만 사실 내용을 완벽하게 파악한 게 아니라서 제대로 설명하지 못한 부분도 있고, 질문에 대한 답도 제대로 하지 못했다.

수요일에 그리 늦게 잔 것도 아닌데 목요일 밤에는 일찍부터 졸렸다. 코로나 데이터 분석을 아직 안 했기에 보려고 했지만 눈이 감겨서 아침에 일어나려고 알람을 맞추고 잤다.

토요일에는 아이효 첫 스터디 날이었다. 솔직히 스터디 시작 전까지 들어가야 하는지에 대해서 조금 고민했다. 하루에 다루는 범위가 많고 발표 준비도 걱정이 되었기 때문이다. 그러나 막상 들어가 보니 쉽게 설명을 해주셔서 너무 좋았다.

어제는 한 것도 없는데 피곤해서 일찍 잤다. 사실 일찍 자고 새벽에 일어나려고 했으나 결국 실패했다. 아침형 인간이 되고 싶지만 불가능할 수도 있겠다는 생각이 든다. 아무리 일찍 자도 새벽에는 일어나지 못하고, 혹시라도 일어나면 오전 내내 비몽사몽한다.

오늘 추Node 스터디는 쉬는 날이다. 비는 1시간동안 코딩 마스터 준비를 하려고 했건만 결국 일어나는데에 실패했다. 침대에 가만히 누워 있는 것은 정말 중독적이다. 오늘의 노드는 html과 Flask에 대한 것이었다.

벌써 50일이 지나갔다. 짧다면 짧고 길다면 긴 시간. 그 시간동안 난 무엇을 한걸까? 주변 사람들을 보면 가끔 가슴이 서늘해진다. 다들 나아가고 있는데 나만 정체된 느낌.

오늘의 스터디에서는 대회에 대해 살펴보는 시간을 가졌다. 이전에 한 번 쭉 보기는 했지만 다 어려워서 무엇을 선택할지 감을 잡지 못했다. 오늘 설명을 듣고 다시 쭉 보니 여전히 어려웠다.

주말동안 스터디를 하고 밀린 프로젝트를 완성했다. 완벽히 했다거나 이해를 완전히 했다고는 하지 못하지만 할 수 있는 만큼은 했다. 밤에는 데이콘 조별 모임을 하고, 베이스라인을 한 번 돌려봤다.

오늘은 스터디가 없는 날이라서 평소보다 늦게 일어났다. 이런 여유를 부려본 적이 얼마만인지 모르겠다. 어제 갑자기 뭐라도 시작해야 하고 싶어서 KMOOC에서 수학 강의를 듣기로 했다.

오늘은 정말 일어나기 힘든 날이었다. 하지만 대회 준비 조원들과 약속을 했기 때문에 무거운 몸을 이끌고 일어났다. 조원들과 잠시 이야기를 하고 각자 공부를 했다. 어제 내가 대회 준비를 위해 공부한 것은 U-Net이었다.

8시 반에 구글밋에서 모임을 가졌다. 오늘은 CONVLSTM과 Pix2pix에 대해서 이야기를 나누었다. encoder인 MobileNet을 어제 보려고 했으나 시간 부족으로 보지 못했다.

대회 준비 모임 오늘은 MobileNetV2에 대해 이야기를 나누었다. 어제 보다가 bottleneck 부분부터 이해가 잘 안 되어서 중단했었다. O님께서 정리와 설명을 잘 해주셔서 조금 이해할 수 있었다.

오프라인 수업이 시작하는 첫 날이다. 긴장을 해서인지 저절로 눈이 떠졌다. 마음의 준비를 하고 교육장으로 출발했다. 일찍 도착했다고 생각했지만 생각보다 많은 분들이 도착해 있었다. 구글밋으로 항상 보다가 실물을 직접 보니 신기하기도 했고, 누군신지 못 알아보는 경우도

오늘의 Exploration을 제대로 끝내지 못했다. 주제는 CGAN, pix2pix였다. 이 부분은 대회 준비하면서 모델 공부를 하다가 1번 대충 개념을 살펴보았기 때문에 그리 어렵지는 않았다. 그래서 수식이나 코드를 중심으로 볼 수 있었다.

풀잎스쿨, 코딩마스터 오늘은 코로나 데이터 시각화 발표날이었다. 다들 발표 준비를 너무 잘 하셨다.

어제 잠을 일찍 자서인가 오늘은 기분이 조금 나아졌다. 하지만 여전히 마음 한구석은 복잡하다. 주어진 일을 하고 있지만 막막하다. 오늘은 하루 종일 세미나를 했다.

벌써 60일차이다. 그동안 뭘 했는지 모르겠다. 뭔가를 했지만 스쳐지나가는 기억으로만 남아 있는 느낌이다. 이대로 정말 괜찮을걸까? 지난 금요일은 쉬는 날이었다. 3개월만에 휴강이라 기분이 좋았다. 오랜만에 이번 주말에는 푹 쉬었다.

어제 조별 모임을 하고 뻗어서 일기를 쓰지 못했다. 어제 갑자기 온라인으로 변경되어서 3시 조금 전, 방에 도착한 것 같다. 갑자기 온라인이 되어서 마음이 붕 떠버리는 바람에 자연어 작당모의 스터디하기 전까지 아무 것도 하지 못했다. 침대에 누워서 기사도 보고 유튜브

오늘은 뭐 했는지도 모르게 지나간 것 같다. 영어 교육 챗봇 관련 동영상을 보면서 시장조사를 했다. 대부분 내가 원하는 방향과는 다른 방향이었고, 하나의 챗봇이 내가 생각한 것과 유사한 것 같다.

어제에 이어 해커톤을 하는 날이다. 별로 하는 것도 없는 것 같은데 몸이 왜 이렇게 힘든지 모르겠다. 오전에 자료 조사를 하고 점심 이후로 계획서를 쓰기 시작했다. 앞 부분은 어떻게든 메꾸면 되는데, 설계를 하는 부분에서 어떤 모델을 써야 하는 것인지 잘 모르겠다. 찾

어제는 몸이 너무 안 좋아서 일기도 못 쓰고 잠들었다. 어제의 일을 오늘 일처럼 쓰는 일기 시작. 오늘이 마감이라 열심히 해서 끝내야지 했는데, 갑자기 마감 일정이 늘어나자 몸도 마음도 늘어져서 결국 다 끝내지 못했다.

오늘의 수학 풀잎은 행렬과 행렬식, 부분공간에 대해서 배웠다. 전치 행렬, 가역행렬의 성질, 기본행렬, 대칭행렬, 치환, 수반행렬, 일차 독립, 일차 종속, 생성 등 여러 개념이 나왔다.

오늘은 고잉디퍼의 첫 프로젝트 날이다. 어제 배운 내용을 실습하는 시간이었다. 공백 기반 토큰화와 형태소 기반 토큰화를 해보고, 프로젝트로는 SentencePiece 모델로 토큰화를 실행해보는 것이다.

요즘 매일 드는 생각은 얼른 시간이 흘렀으면 하는 것이다. 아이펠 과정의 절반 정도가 지난 지금 많이 지친 것 같다. 왜 절반 밖에 지나지 않았는가 하는 생각도 든다. 처음 배우는 것들이 많고 열심히 하고 싶어서 너무 달렸나 싶다. 다른 것에는 신경도 쓰지 못하고 달려

주제: Bag of Words, DTM, TF-IDF, LSA, LDA, 형태소 분석기와 단어 미등록 문제오늘의 노드는 길었다. 내용을 꼼꼼히 보고 정리하면서 하다보니 시간이 더 오래 걸린 것 같다.

오늘은 머신러닝을 총 정리하는 날이다. 주제는 나이브 베이즈 분류기, F1-score, OOV 문제, Complement Naive Bayes Classifier(CNB), 로지스틱 회귀, 선형 서포트 벡터 머신, 결정 트리, 랜덤 포레스트, 그래디언트 부스팅 트리,

머리가 멍하다. 난 뭘 하고 있는 걸까?오늘은 기저, 해공간(영공간), 행공간, 열공간, Rank 등에 대해서 배웠다. 이제부터 선형대수의 어려움이 본격적으로 시작되는 부분인 것 같다.

오늘은 하루 종일 Going Deeper를 하는 날이다. 오전 중에 어제 마무리 못했던 FastText와 GloVe 부분을 정리했다. 혼자서 고잉 디퍼를 하다보면 궁금한 점이 생긴다. 대부분 검색을 통해서 해결하지만 가끔은 궁금할 때가 있다.

어제에 이어 프로젝트를 하는 날이다. 오늘은 오후에 코딩 마스터가 있어서 시간이 짧은 만큼 쉽게 집중이 되지 않았다. 잠시 이야기를 나누고 이것저것 하다 보니 금세 시간이 흘렀다. 프로젝트는 생각만큼 진도가 많이 나가지 않았다.

오늘은 하루 종일 렉처 노드를 하는 날이다. 주제는 Seq2Seq과 Attention이었다. 알고 있는 부분도 있어서 다시 정리하는 느낌으로 봤다. 먼저 언어 모델의 역사를 돌아보면서 통계적 언어 모델과 신경망 언어모델을 다뤘다.

어제 배운 seq2seq과 Bahdanau attention을 이용한 번역기 만들기를 했다. 이미 개념은 어제 다뤘기 때문에 오늘은 코드를 중심으로 노드가 진행되었다. 긴 코드들, 각종 함수와 클래스가 나오니 혼미해졌다. 오전에는 취업 스터디를 했다.

예상보다 주말이 힘들지는 않았다. 나름 휴식도 취하면서 발표 준비를 했다. 감사하게도 조원들, 같이 발표하시는 분들이 배려해주셨기 때문이다. 오늘은 정사영 정리, 최소제곱문제, Gram-Schmidt 정리, QR 분해를 나갔다.

어제에 이어 트랜스포머를 계속 공부했다. 예상대로 코드 중심으로 프로젝트는 구성되었다. 코드를 보면서 어제 이해하지 못 했던 부분을 다시 살펴보았다. 속상했던 것은 노드에서 코드를 혼자서 써보라고 한 부분을 하지 못했던 것이다.

어제부터 집중이 잘 되지 않는다. 하루종일 뭐 하고 있는 건지 모르겠다. 다 싫고 어디론가 도망치고 싶다는 생각이 든다. 하고 싶어서 시작한 건데 왜 이러는 걸까? 슬럼프를 극복했다고 생각했지만 아니었나 보다.

어제도 스터디를 마치고 쉬었다. 많이 지치긴 했나보다. 트랜스포머 너무 힘들다. 오늘은 다행히 트랜스포머가 아니다. 그러나 다른 의미로 집중을 잘 못했다. 다양한 내용을 한 번에 소화하려다 보니 머리 속이 뒤죽박죽이다.

Going Deeper 어제도 일찍 쉬었는데 몸이 피곤한 이유는 뭘까? 아침에도 정신을 못 차리고 헤매다가 겨우 노드를 시작했지만 트랜스포머가 나오니 정신이 혼미해졌다. 어제 배운 BLEU와 Beam Search, Data Augmentation이 코드로 잔뜩 나오니

오늘 다룬 내용은 선형변환, 핵과 치역이었다. 주말에 예습하면서 다시 보니 이제야 조금 알 수 있었다. 하지만 아직 완전히 이해되는 수준은 아니다.

오늘은 어제에 있어 Memory Network에 대해서 공부하는 날이다. 오전에는 렉처, 오후에는 프로젝트였다. 어제의 노드를 참고하면서 코드 구현을 살펴 보았다. 모르는 문법은 구글링을 하고, 코드 한줄씩 이해하면서 보았다.

어제 일찍 잤는데도 오늘 아침에 너무 힘들었다. 며칠간 늦게 자서 그런가? 고잉 디퍼에 들어와서 계속 집중이 안 되는 느낌이다. 오전 중에는 쉬다가 뒤늦게 공부를 시작했다.

오늘의 노드는 트랜스포머로부터 발전된 모델을 살펴보았다. ELMo, GPT, BERT, Transformer-XL, XLNet, AlBERT. 오늘은 동기들과 함께 노드를 살펴보기로 했다. 몇 명이 모여서 함께 읽으면서 모르는 부분을 토론하는 식으로 공부했다. 살펴볼

Going Deeper 오늘은 BERT를 이용해 Pretrained model을 만드는 것을 했다. LMS에서 클라우드 버전으로 들어가면 센텐스피스 모델 학습이 안 되는 문제가 있었다.

이번주는 수요일이 공휴일이라 풀잎 스쿨이 없다. 그래서 오늘은 고잉 디퍼 렉쳐 노드를 하루 종일 했다. 오늘는 Huggingface에 대해서 배웠다.

Going Deeper 오늘도 별로 한 것 없이 지나갔다. 어제에 이어 HuggingFace를 배웠다. 내용은 많지 않지만 낯설어서인지 이해가 잘 되지 않았다. 어제에 이어 코드 상에 문제가 있었다. 오후에 포럼에 글을 올리고 퍼실님께 질문했다.

오늘의 노드는 Multimodel NLP에 대한 것이었다. CS231n에서 잠시 다루었던 Image Captioning을 포함한 다양한 task와 이를 수행할 수 있는 모델에 대해 간략하게 살펴 보았다.

어제 배웠던 LXMERT에 대해 배웠다. HuggingFace에 이미 구현된 LXMERT 모델을 사용하여 VQA task를 실행해보았다. 파이토치, 그리고 HuggingFace에 익숙치 않아 코드를 실행하는 수준으로만 끝냈다.

오늘은 고유값과 고유벡터, 고유 공간에 대해 배웠다. 칸 아카데미의 강의를 듣고 퍼실님이 정리해주시고, 마지막으로 문제를 풀었다. 예습을 해서인지 어려운 내용은 아니었고, 마지막에는 반복되는 내용이 많아서 조금 지루했다.

오늘은 해커톤 2일차이다. 어제 별로 한 일이 없다 했지만 오늘은 더 없었다. 팀별 이름 정하기, 어제 이야기 나눈 내용 정리, OCR 관련 동영상 보기. 이야기를 나누는 시간이 더 많아서 불안했지만 아직 2일차라고 위안을 삼기로 했다. 목요일에는 OCR과 BERT에

아침에 일찍 눈이 떠져서 이상하다 싶더니 깜박 다시 잠이 들어 오늘은 지각을 했다. 실제 지각은 아니지만 스샷 때문에 QR을 41분에 찍어서 지각 처리가 되었다. 지각이라고 불이익이 있는 건 아니지만 난생 처음으로 한 지각에 기분이 썩 좋지만은 않다.

오늘 오전에는 발표 준비를 했다. 어제 어떻게 발표를 해야할지 감을 못 잡아서 헤매며 대충 내용 정리만 하고, 코드는 자세히 보지 못해서 오전에 코드를 살펴 보았다. 코드 발표라 하니 막막하다.오후에는 팀장님 집으로 가서 OCR과 U-Net 발표를 들었다.

어제 창업 스터디 스터디를 들었다. 창업에 대한 구체적인 계획을 어떻게 짜야 하는지에 대해서 자세한 설명을 들었다. 아직 아이템이나 아이디어가 없어서 어떻게 적용시켜야 하는지는 모르겠다. 스터디를 듣고 나니 힘들어서 아무 것도 하지 못 했다.

오전에는 각자 공부를 했다. 팀장님이 갑자기 logit, sigmoid, softmax에 대해서 공부해오라고 해서 급하게 정리를 했다. 이번 기회를 통해 신경망의 출력에 logit이라는 개념을 사용할 수 있다는 것은 처음 알았다. BERT에서 NSP와 MLM 문제를 풀

수학 풀잎 스쿨 오늘은 확률에 대해서 배웠다. 주말에 예습했을 때는 수열, 조합이 범위였지만 어제 범위가 바뀐 것 같다. 오늘 본 동영상은 어려운 부분은 아니었다. 확률의 기본적인 내용이어서 어렵지 않았다. 하지만 확률은 생각해야할 부분이 많아서 실제로 문제를 풀게 되

오늘도 해커톤하는 날이다. 화요일에 거의 아무 것도 안 해서 어제 숙제로 나온 ALBERT를 실행시키고 sop_logit을 찍어보는 것을 하려고 했다. 하지만 어떻게 하는 것인지 잘 모르겠는 거다.

오전에는 각자 오후에 있을 발표 준비를 했다. 나는 허깅페이스 가이드라인을 정리했다. 생각보다 많이 하지는 못했다.오후에 팀원들과 모였다. 각자 준비한 것을 발표하고 나서 앞으로의 일정에 대해 토론했다.

오늘은 순열과 조합에 대해서 나갔다. 강의만 들었기 때문에 어려운 부분은 없었다. 순열과 조합은 정의를 아는 것보다 문제를 다양하게 풀어 보는 것이 중요한데, 풀잎 스쿨에서는 그런 기회가 없어서 아쉽다.

오늘도 평소처럼 오전 중에는 각자 준비, 오후에는 모여서 준비한 것을 발표했다. 어제 베이스라인을 돌려보면서 여러 실험을 통해 앞으로 어떻게 베이스라인을 수정해 가야 좋을지 생각해 보았다. 생각보다는 잘 돌아갔지만 제대로 복원하지 못하는 문서도 있었다. 싱겁게도 이 문

오전 중에는 각자 준비할 것을 해야 했지만 생각보다 집중을 하지 못 했다. 팀장님이 자리를 비우셔서 11시에 퍼실님과 중간 점검을 하고, 1시에는 금요일 발표 순서를 정했다. 우리 팀은 3번째 팀이다.

오늘 오전에는 각자 시간을 보냈다. 그러나 나는 오늘 오전을 제대로 보낸 것 같지 않다. 무엇을 시도하든 테스트 결과가 안 좋았고, 좋지 않은 결과의 이유가 정확히 무엇인지, 어떻게 수정해야 하는 것인지 알 수 없었기 때문이다. 오후에 모여서 토론을 했다.

오늘은 해커톤 중간 발표날이다. 다른 조들의 발표를 보니 마음이 조금 조급해졌다. 다른 조들은 기존에 존재하는 모델을 가져다가 바꾸는 경우가 많았다. 그러나 우리 조의 경우는 처음부터 수정하고 있어서 진도가 많이 느리다. 아직 3주가 남았으니 너무 조급해 말자. 오늘

오늘은 확률 분포에 대한 강의를 들었다. 확률 변수, 확률 밀도 함수, 큰 수의 법칙 등에 대한 개념을 살펴보았다. 오늘도 2시에 팀별로 모였다. 오늘은 유사도 계산 코드 확인, 기존 연구되었던 논문 발표를 했다.