[ Paper Review ] Deep Learning Enabled Semantic Communication Systems

I. Introduction

Shannon과 Weaver가 분류한 level

• level 1. transmission of symbols : 성공적인 symbols의 전달 필요
• level 2. semantic exchange of transmitted symbols : semantic communication
• level 3. effects of semantic imformation exchange : level 2를 진행함으로서의 효과

산업에서 다양한 적용이 이어지고 방대한 양의 데이터가 생김의 따라,
제한된 상황에서 낮은 지연을 만들어내는 것은 기존 source-channel coding 분야에게 과제였다.

Semantic communication은 data의 필요없는 부분을 제거하고 meaning(의미)만을 추출함으로서 이에 대한 대안으로 소개되었다.
게다가 이것은 좋지 않은 환경에서조차 견고할 것으로 예상된다.

그리고 다른 기존의 communication 방식과 달리,
이것은 information을 효과적으로 전달하는 것에 초점 맞춰져있다.
그렇기에 많은 data traffic을 줄이는데 효과적일 것이다.

최근 Natural language processing(NLP)를 기반으로 한 Deep-leaning(DL)이 발전함에 따라
저자에게 level 2의 semantic communication을 연구하는데 있어서 많은 영감을 주었다.

Semantic communication system은 주로 아래 와 같은 것에 초점을 둔다.

• joint semantic-channel coding & decoding
  (단순히 sequence가 아닌 information을 추출하고, encode하는 것이 목표)

Question 1. How to define the meaning behind the bits?
Question 2. How to measure the semantic error of sentences?
Question 3. How to jointly design the semantic and channel coding?

이 논문에서 저자는 physical layer communication에 NLP 기술을 적용한다.
그래서 semantic communication이 가능한 DL, DeepSC를 제안한다.
저자의 기여는 아래와 같이 정리된다.

• Transformer 구조를 기반 DeepSC framework 제안
  (semantic information을 잘 뽑을 수 있고, noise에 강함)
• DeepSC의 transceiver는 semantic encoder, channel encoder, channel decoder, semantic decoder로 구성 / receiver는 cross-entropy & mutual information을 loss함수로 최적화 시킴 / semantic level에서 DeepSC의 성능을 정확하게 반영시키기 위해 새로운 metric을 제시
• 다양한 통신 시나리오에 일반화하기 위해 deep transfer learning이 사용
  (Model의 re-training을 빠르게 하기 위함)

Notation
$x\sim C N(\mu, \sigma^2)$ : complex Gaussian distribution
$(\cdot)^T$ : transpose matrix
$(\cdot)^H$ : Hermitian matrix

---

Ⅱ. Related Work

A. End-to-End Physical Layer Communication Systems

E2E System은 기존의 block structure를 없애고, autoencoder 구조를 사용한다.
transmitter와 receiver가 같이 최적화 된다.
(E2E system의 성능이 BER 측면에서 uncoded BPSK와 Hamming coded BPSK 보다 좋다는 것이 증명됨)

B. Semantic Representation in Natural Language Processing

NLP의 목표는 syntax와 text를 이해하는 것으로, 사람의 언어를 기계가 알아들 수 있도록 번역하는 것이다.
초기의 NLP 기술은 statistical model을 기반으로 발전했기에 긴 문장을 처리하는 데에는 어려움을 겪었지만, 앞선 문제들을 해결하기 위해 많은 model이 등장했다.

C. Comparison of State-of-Art NLP Techniques

---

Ⅲ. System model and Problem formulation

---

아직 마무리 안 한 ㄱ ㅔ시글

Reference

Xie, Huiqiang, et al. "Deep learning enabled semantic communication systems."
IEEE Transactions on Signal Processing 69 (2021): 2663-2675.