인공지능

Vision Transformer를 이해하기 위해 Transformer를 직접 코드로 구현해보면서모델을 이해해 봄(출처 : 딥러닝을 이용한 자연어처리 입문, https://wikidocs.net/31379)입력 데이터의 위치정보를 입력데이터에 추가함위 수식을

clone 후 코드를 실행해보면 정상 실행이 되지 않아 오류 발생 및 해결방법 정리오류 1 - 해결 1 - 오류 1 - tecogan의 구현코드는 tensorflow 1.x버전이라 2.x에서 실행 불가해결 1 - 해당 깃허브의 pull requests를 찾아보던 중 누

출처 : (https://light-tree.tistory.com/196) pretrained된 Teacher network(큰 모델)의 학습된 정보를 추출해서 student network(작은 모델) 학습시키는데 이용하는 것.그냥 작은 모델로 학습하는 것 보