CTC

CTC

(2006)
CTC

Prefix Search Decoding

2006년에 발표된 CTC 논문은 아래 링크에서 자세히 설명되어있어서 추가 설명은 하지 않겠습니다.

• https://github.com/hccho2/CTCLoss/blob/master/CTCLoss.pdf
• beam search: https://blog.naver.com/PostView.naver?blogId=sooftware&logNo=221809101199

결국 Conditional Independence의 problem을 해결하기 위한 solution으로는 explicit한 Language Model을 만드는 것인데, 그것은 End-to-end model이라고 할 수 없다.

이후 CTC에 단점을 보완한 논문들이 많이 발표가 되었는데, 그것에 대한 논문 리뷰를 해보고자 한다.

Advancing Connectionist Temporal Classification with Attention Modeling

(2018)

기존 CTC 모델에 문제점은?
1) CTC relies only on the hidden feature vector at the current time to make predictions.
2) CTC imposes the conditional independence constraint that output predictions are independent given the entire input sequence which is not true for ASR.

Attention CTC
1. attention을 사용하는 이유?
이전 window attention score와 similarity를 구함으로써 얻고자 하는 정보(information)는?
2. window attention(CNN)을 적용하는 이유
3. $c_{u}$가 의미하는 바는? 무엇을 represent 하는가?

Mask CTC: Non-Autoregressive End-to-End ASR with CTC and Mask Predict

(2020)
Mask CTC