Today I Learned
written by 602
컨퍼런스 D-1
1. Tacotron 코드 수정 및 결과 정리
tf.keras.layers.Embedding(mask_zero=True)외에도tf.keras.Masking추가- 기존에 마스킹이 구현되어있지 않았던 타코트론
- 마스킹 레이어를 추가한 이후, 키포인트 값이 0으로 수렴하는(사람 형상이 쪼그라드는) 현상은 현저히 줄었지만, 여전히 통통 튀는 듯한 느낌
- tacotron의 attention 구조를 마스킹이 가능하도록 완전히 뒤바꾸어야 함 -> 개선방향: Progressive Transformer의 attention 구조를 차용하기
2. DTW(Dynamic Time Warping)
text2keypoint 모델 tacotron의 결과를 평가하기 위한 지표로 도입한 DTW Score
-
두 시계열 데이터/시퀀스 간 최소 거리 행렬을 통해 유사도를 측정
-
Warp: 휘다 -> 길이가 짧은 데이터를 휘게 하는 느낌
-
두 시퀀스 간 최소 거리 행렬(Minimum Distance Matrix)를 구하여 행렬의 좌 하단부터 우 상단까지 최소비용으로 이동할 수 있는 최단경로 탐색
-
그 최단경로가 바로 DTW Score!
모델 학습 결과 prediction을 DTW score가 낮은 순으로 정렬하여 시각 자료 선정
