-
515 ver. — 코드 에러 고친 버전 + WCDL loss (o)
- epoch 30
- learning rate 0.0001
- loss 가 0.3대
- L1 L2 lightly increased (why? IDK)
- 예측 값 : 전체 test 기간에 대해서 뽑고 있음.
-
519 ver. — No WCDL Loss
- learning rate 0.0001
- 질투나서 멈췄음
- loss가 0.1대
- epoch 19 (질투나서 멈췄음 이어서 돌리면 됨)
- 여전히 가로줄 있음.
-
520 ver. — 515 + LR 바꿈
- learning rate 0.00001
- epoch 7에서 까봤을 때 가로줄 없었음.
- 텐서보드에서 까봤을 때 515보다 시작 loss가 높았음.
텐서보드 확인해보니 no WCDL에서 loss가 0.1대이고 yes WCDL에서 loss가 0.3정도가 나와서,,,
뭔가 이 차이일수도? 있다는 생각에...
알파 값을 조정해서 넣어보기로 하고 519 멈췄음. 넌 충분히 좋다. 그만 좋아져라 라는 마음으로...
- alpha1=1e3, alpha2=100, alpha3=0.01
이렇게 넣어줬구요 ,
lr 0.0001 vs 0.00001으로 비교했을 때 0.0001이 앞부분에서 더 좋아서 0.0001로 수정하였음.
시작은 0.2 정도로 나쁘지 않은 시작.
결과나오면 추가하겠음.
주원언니한테 업데이트 메일 갈겨놓고 퇴근...
결과 나왔음.
아래는 업데이트된 내용
자세한 결과는 다음 글에서...
혹시 언니가 보낼거면 아래 내용 같이 보내면 좋을 것 같습니다....
내가 보내도 됨 !!!!!!
전달사항 :
- 슬라이드에서 3가지 실험 진행하였음.
- 알파 없이 / PL없이 / 알파 눈대중으로 단위 맞춰서
- 한 실험당 거의 30시간 정도 (에폭 20) 근데 뭐 에폭 20이 부족했을수도 있음....
- 알파값 조절
- 알파값을 처음에는 안했는데, 한 것과 비교했을 때 차이가 크다. -> 스케줄러나 optuna 써볼 수 있을 지도....!
- 시간이 얼마나 걸릴지 잘 모르겠음...
-
L1 L2 L3 증가에 대한 의문
왜인지 정말 모르겠음.ㅠㅠ -
learning rate
여기 ppt 에는 안넣었는데, learning rate 1e4랑 1e5 두개 해봤을 때 1e4가 훨씬 좋았음 일단 이걸로 킵. -
land 보이는 문제
낮은 고도에서 남아프리카 쪽이 보이기는 하는데, 납득 가능한 정도? -
위아래쪽에 아티팩트 생기는 문제
이게 패딩 때문인지 아님 모델이 별로라 그런건지 모르겠으나,
패딩 관련하여 실험해보고 싶은 것이 있어서. 추가로 진행해서 비교해보도록 하겠음. -
오션 추가
박사님께서 보시고 어칼지 결정 -
ACC RMSE 관련 결과 추가
by 유원
(Near) Future Plan :
- 알파 값 조절.....
- 오션 어케 넣을지
- 앙상블
