MLP-Mixerself-attention 만을 사용하고, Vit attention 부분을 mlp 만으로 할 수 있지 않을까?\-> 결과는 sota 까지는 아니지만 비교를 해볼만한 성능이 나온다는게 결론fully connect layer vs convolution la

한 스타트업의 대표로 활동했던 사람으로서, 2018년 하반기부터 아이템을 디벨롭하고 각종 지원사업 및 투자 미팅을 진행해봤고 여러번이 피벗과 결국엔 군 문제로 대표직을 내려놓고 지금 전역을 3달정도 앞두고 있다.스타트업 기업이 아니라 공모전 팀이라면 발생하지 않는 지분

Deep-learning 신경망 모델에서 각 Layer 간 중요 특성들을 반영하여 다음 레이어에 전달한다. 뉴럴 네트워크에서 층을 쌓는다는 의미는 비선형 함수를 활성화 함수(Activation Function)로 사용함으로써, 딥러닝 네트워크의 레이어 층(hidden

이 게시글이 나의 첫 velog 게시글이다! 지금까지 진행했던 스타트업, 프로젝트, 해커톤들이 있는데 뭔가 정리가 잘 안되는(?) 느낌이 들어서 이번 게시글을 시작으로 프로젝트, 해커톤, 스타트업 성과(혹은 경험담), Paper Review 등으로 섹션을 나눠서 진행하