이번 주 Hot Issues
교환학생 결과
월요일에 2022-2학기 교환학생 결과가 나왔다.
프랑스 Grenoble-Alphes University에 합격이 돼서 신났다ㅎㅎㅎㅎ막상 가려니까 더 일찍 준비시작해서 영어권으로 갈 수 있었으면 좋았을텐데 라는 후회도 들었다ㅠㅠㅠ그래도 바쁜 3학년 2학기랑 토플 공부 병행하면서 열심히 했기 때문에 더 준비를 오래할 걸 이라는 후회는 들어도 당시에 더 열심히 공부할걸이라는 후회는 안들었다.ㅋㅋㅋ
주말에는 영어회화 학원을 다녀볼까 고민 중이다. 아직 어디를 다닐지 고민은 안했는데 그래도 토플 학원보다는 재밌을 것 같아서 설렌다🥰
베이징 올림픽
우선 일단 베이징 동계올림픽 컬링 너무 재밌다ㅎㅎㅎㅎ
피겨도 너무 예뻐서 보는데 점프 종류가 궁금해서 유튜브 보면서 공부도 했다.
02.14
부스트캠프
머신러닝 프로젝트의 전반적인 순서와 플로우에 대해서 공부하였다.
CV 연구실
그리고 연구를 위해 부스트캠프에서 추천해준 pytorch template에 ms-tcn 코드를 붙이고 있는데
오늘은 train epoch 부분을 수정했다.
02.15
부스트캠프
AI 모델 저작권에 대한 강의를 들었는데, 따로 공부하기 힘든 부분이라 너무 유익했다!! 깃허브 MIT license 많던데 이것도 한번 자세히 봐야겠다.
CV 연구실
오늘은 tcn코드에서 batch_gen 부분과 util 부분을 수정하였다.
tcn은 데이터를 파일 입출력으로 읽어들이고 출력하기 때문에 파이토치의 Dataset, loader로 작성하기 힘들어서 다르게 바꿨다.
CS231n 스터디
수요일에 CS231n 스터디 10강 스터디 하기 때문에
10강 듣고 질문 올렸다.
10강은 RNN에 대한 내용이었는데, 얼마전 부스트캠프에서 공부해서 수월하게 넘어갈 수 있었다.
02.16
부스트캠프
오늘은 피어세션에서 Transformer 논문 Why self-attention & Training 부분에 대해서 발표해야하기 때문에 읽고 정리하였다.
이 부분에서 BLEU 평가 방법이나 transformer의 learning rate schedule이 특히 인상깊었다.
그리고 도커와 MLflow에 대해 공부하였다.
도커에서 Mac M1칩 때문에 mysql pull 과정에서 워닝이 계속 나와서
지웠다 깔았다를 계속 반복하다 보니까 뒤에 강의에서 배우는 많이 사용된다는 명령어들이 암기가 되었다.
워닝에 대해서 slack 채널에 남겼는데 많은 분들이 쓰레드 남겨주셔서 이것저것 도전해보았다. 우분투를 안까는 방향으로 모두 시도해봤는데 해결이 안되서 결국 우분투 깔아서 다시 도전해봐야겠다...ㅠㅠ
mlflow는 아직 완전히 PyTorch에 사용가능한게 아니라 PyTorch Lightning에 된다고 해서 아쉽다.😭
BOAZ
내일 BOAZ 동아리에서 클로바 폰트생성 모델 fewshot-font-generation 학습 해오기로 해서 코랩에서 7시간 정도 학습시켰다.
처음에는 Out-Of-Memory 에러가 나서 batch_size와 num_workers를 줄였다.
8000steps이 돌아가니까 할당된 GPU를 모두써서 멈췄다.
아래는 그 결과이다.
코드를 보니 한참 남아서 내일 회의시간때 코랩 프로 결제하자고 말을 꺼내볼 예정이다!
02.17
부스트 캠프
피어세션에서 리눅스 강의 과제 중 하나인
카톡 대화내용 csv로 저장하고 2020년 대화를 많이 한 사람 top3를 뽑는 명렁어를 단 한 줄로 작성하기
를 해보았다.
우리팀 카톡 대화 데이터를 사용해서 2022년 1월로 기준을 바꾸고 진행하였다.
내가 만든 답은
->
cat kakaotalk.csv| awk -F, '/2022-01/ {print $2 }' | sort | uniq -c | sort -r | head -n 3
순간 내가 제일 먼저 풀어야지 라는 승부욕이 올라와 시간가는 줄 모르고 했다ㅎㅎㅎㅎ 유치하지만 제일 먼저 풀어서 기분 좋았다😂 (팀원분들이 내 블로그 안보시겠지...?)
CV 연구실
오늘은 loss function을 수정해주었다.
action segmentation 논문들은 보면 각자 정의한 loss도 다르고
action segmentation은 과도한 segmentation을 막아주기 위해 loss function을 하나의 loss만 정의하는 것이 아니라 여러 개를 더하면서 정의한다.
내가 지금 구현하고 있는 ms-tcn은
cross entropy loss와 truncated mean squared error over the frame-wise log-probabilities를 아래처럼 합한다.
02.18
부스트캠프
멘토님이 도커란? 에 대해서 쓴 글에 Docker Compose에 대해서 공부하는 것을 추천해주셔서 지금 공부하고 있다. 정리해서 포스팅 도전해볼 생각이다!
CV 연구실
교수님이랑 미팅하였는데, cuai 학회 이제 그만둬서 gpu가 없다고 말씀드렸다.
그래서 연구실 gpu 할당받고 ms-tcn 돌려보라고 말씀해주셨다.
애매하게 만들어 넘어가지 말고 확실하게 제대로 구현하고 학습해야 나중에 논문 비교에 넣을 수 있다고 조언해주셨다.
이후 계획으로 ms-tcn++랑
원래 구현 목적인 Yifei Huang의 Improving Action Segmentation via Graph Based Temporal Reasoning 논문의GTRM을 모델을 구현할까 했는데
Graph based 모델 코드 공부를 작성해본 적이 없어서
MS-tcn++ 먼저 구현해보기로 했다.
추가적으로 action segmentation에 대해 2020년 논문까지 읽었어서 이후 2021년 위주의 논문을 계속해서 읽어볼 예정이다.
논문 읽은 거 정리해서 올리면 좋을 것 같은데 시간이 얼마나 걸릴지...😭
