A Survey of Transformers
1. Abstract
-
Transformers have achieved great success in many artificial intelligence fileds, such as natural language processing, computer vision,m and audio precessing.
트랜스포머는 자연어 처리, 컴퓨터 비전, 오디오 처리와 같은 많은 인공지능 분야에서 큰 성공을 거두었다. -
Therefore, it is natural to attract lots of interest from academic and industry researchers.
따라서, 학계와 산업계의 연구자들로부터 많은 관심을 받는 것은 당연하다. -
Up to the present, a great variety of Transformer variants(a.k.a X-formers) have been proposed, however, a systematic and comprehensive literature review on these Transformer variants is still missing.
현재까지 다양한 트랜스포머 변형(일명 X-포머)이 제안되었지만, 이러한 트랜스포머 변형에 대한 체계적이고 포괄적인 문헌 검토는 여전히 누락되어 있다. -
In this survey, we provide a comprehensive review of various X-fromers.
이 설문 조사에서는 다양한 X-포머에 대한 포괄적인 검토를 제공합니다 -
We first briefly introduce the vanilla Transformer and then propose a new taxonomy of X-formers.
먼저 바닐라 트랜스포머를 간략하게 소개한 다음 X-포머의 새로운 분류법을 제안한다. -
Next, we introduce the various X-formers from three perspectives: architectural modification, pre-training, and applications.
다음으로, 우리는 아키텍처 수정, 사전 훈련 및 응용 프로그램의 세 가지 관점에서 다양한 X-포머를 소개한다 -
Finally, we outline potential directions for future research.
마지막으로, 우리는 향후 연구를 위한 몇 가지 잠재적인 방향을 개략적으로 설명한다.
9. Conclusion and future directions.
-
In this survey, we conduct a comprehensive overview of X-formers and propose an new taxonomy.
이 조사에서, 우리는 X-포머에 대한 포괄적인 개요를 수행하고 새로운 분류법을 제안한다. -
Most of the exisiting works imporve Transformer from different perspectives, such as efficiency, generalization, and applications.
기존 작품 대부분은 효율성, 일반화, 애플리케이션 등 다양한 관점에서 트랜스포머를 개선한다. -
The imporvements include incorporating structural prior, designing lightweight architecture, pre-training, and so on.
개선 사항에는 구조적 사전 통합, 경량 아키텍처 설계, 사전 교육 등이 포함됩니다.
-
Although X-formers have proven their power for various tasks, challenges still exist.
X-포머들은 다양한 작업에 대한 그들의 힘을 증명했지만, 과제는 여전히 존재한다. -
Besides the current concerns (e.g. efficiency and generalization), the future improvements of Transformer may lie in the following directions:
현재 우려 사항(예: 효율성 및 일반화) 외에도 Transformer의 추가적인 개선은 다음과 같은 방향으로 이루어질 수 있습니다.
-
(1) Theoretical Analysis.
-
The architecture of Trnasformer has been demonstrated to be capable of supporting large-scale training datasets with supporting large-scale training datasets with enough parameters.
Transformer의 아키텍처는 충분한 매개 변수를 가진 대규모 훈련 데이터 세트를 지원할 수 있는 것으로 입증되었다. -
Many works show that Transformer has a larger capacity than CNNs and RNNs and hence has the ability to handle a huge amount of training data.
많은 연구는 트랜스포머가 CNN 및 RNN보다 용량이 크기 때문에 엄청난 양의 훈련 데이터를 처리할 수 있다는 것을 보여준다. -
When Transformer is trained on sufficient data, it usually has better performances than CNNs or RNNs.
트랜스포머가 충분한 데이터에 대해 훈련될 때 일반적으로 CNN이나 RNN보다 성능이 우수하다. -
An intuitive explanation is that Transformer has few prior assumptions on the data sturcture and therefore is more flexible than CNNs and RNNS.
직관적인 설명은 트랜스포머가 데이터 구조에 대한 사전 가정이 거의 없으므로 CNN 및 RNN보다 유연하다는 것이다. -
However, the theoretical reason is unclear and we need some theoretical analysis of Transformer ability.
그러나 이론적 이유는 불분명하고 트랜스포머 능력에 대한 이론적 분석이 필요하다.
(3) Unified Fraework for Multimodel Data. In many application scenarios, intergrating multimodel data is useful and necssary to boost the task performance.
(3) 멀티모달 데이터를 위한 통합 프레임워크. 많은 응용 프로그램 시나리오에서 멀티모달 데이터를 통합하는 것은 작업 성능을 향상시키는 데 유용하고 필요하다.
Moreover, the general AI also needs the ability to cpature the semantic reloations across different modalities.
더욱이, 일반 AI는 또한 다른 양식에서 의미 관계를 포착할 수 있는 능력이 필요하다.
Since Transformer ahcieves great sucess on text, image, video and audio, we have a chance to build a unified framework and better capture the inherent connections among multimodal data.
Transformer는 텍스트, 이미지, 비디오 및 오디오에서 큰 성공을 거두기 때문에 통합 프레임워크를 구축하고 멀티모달 데이터 간의 고유한 연결을 더 잘 캡처할 수 있다.
However, the design of the intra-model and cross-model attention still remains to be imporved.
그러나 인트라 모달 및 크로스 모달 주의 설계는 여전히 개선되어야 합니다.
Finally, we wish this survey to be a hands-on-reference for better understandding the current research progress on Transformers and help readers to further improve Transformers for various applications.
마지막으로, 우리는 이 설문조사가 트랜스포머에 대한 현재 연구 진행 상황을 더 잘 이해하고 독자들이 다양한 애플리케이션에 대한 트랜스포머를 더욱 개선하는 데 도움이 될 수 있는 실질적인 참고 자료가 되기를 바란다.
