Abstract

explicit knowledge와 implicit knowledge 2개를 통해 사람은 학습을 한다.(뇌에 encoded and stored 되는 것으로 생각 가능)
이를 딥러닝에 활용하여 본 논문에서는 normal
learning 뿐만 아니라 subconsciousness learning 까지 가능하도록 한다.
이를 Unified Network라고 부른다.

Introduction

사람이 한 가지 data를 여러 관점에서 볼 수 있지만 CNN 모델은 한 가지 objective만 가질 수 있다. 이러한 이유는 implicit 정보를 쓰지 않기 때문이다.
일반적으로 얕은 레이어의 정보를 explicit, 깊은 것을 Implicit으로 부른다. 본 논문에서는 observation과 관련 있는 것은 explicit, 없는 것을 Implicit으로 정했다.

Contribution

1. Propose Unified network(다양한 task를 할 수 있다)
2. kernel space alignment, prediction refinement, and multi-task learning into the implicit knowledge 제시
3. 위 모델에 좋은 vector 사용 방식 비교
4. 시각적으로 암시적 표현이 정확하게 작동하는지 확인
5. YOLO v4와 결합해 88% 향상된 속도 달성

위의 그림의 모델의 구조를 보여준다. compressive sensing and deep learning 으로 unified network가 가능하게 한다.

Related Work

Explicit Deep Learning

transformer 예시를 듦

Implicit Deep Learning

implicit neural representations과
deep equilibrium models로 나뉨

Knowledge modeling

sparse representation과 memory networks
주로 포함

How implicit knowledge works?

Manifold space reduciton

manifold space에 projection이 가능해야 좋은 representation이라고 가정
내적을 통해 차원을 축소하고 다양한 task에 적용 가능

Kernel space alignment

multi task 와 multi head에서 misalignment 자주 발생. 이를 해결하기위해 implicit representaiton과의 연산으로 해결

More funcitons

offset refinement, anchor refinement등 다양한 것 가능

Implicit knowledge in our unified networks

Convetional networks

기존의 방식대로면 error term을 줄이기위해 다른 observation with same target이 sub space에서 하나의 점으로 수렴할 것이다.
general purpose network는 모든 T 즉 모든 potential을 가질 수 있어야 한다.
입실론(err)을 relax해야 하는데 이는 수학적 방법들을 못 쓰게 할 수 있다. 이를 위해 입실론의 모델링은 필수불가결하다.

Unified Networks

Modeling implicit knowledge

Vector z

각 차원은 독립

Neural Network $W_z$

가중치 행렬을 사용해 implicit representation을 만든다.(각 차원은 독립)

Matrix Factorization $Z^T_C$

다중 벡터 Z와 계수 c로 암시적 표현 생성

Training

처음에 아무런 암시적 지식이 없다고 가정, 따라서 명시적 표현에 영향을 미치지 않음

Inference

implicit model이 복잡해도 constant tensor로 나오기 때문에 inference 단계는 매우 빠르다.

Conclusion

multi task learning on single model에 효과적임을 입증했다.