backpropagation을 forward하는 도중에 하면 안되나? 실시간으로 지나치면서 update하는거, 스처지나가면서 gradient 즉각 update하는
loop하는 구간을 만들수 없나? layer을 재사용하는것
ReLU 대신 input을 편식하는 구조?
auxiliary classifier처럼 중간중간에 결과내서 objecive function을 중간마다 설치해서 backpropagation은 구간마다 그까지만 하기?
뒷 layer은 앞 layer의 값 받아야만 계산 가능-pipelining을 쓰면 더 빨라지나? overhead가 더 큰가?
2개 각도 사진 넣고 학습하면 segmentation 성능 오르지 않을지?
감정/쇼크모듈-충격을 받을때 학습률 크게
여태까지 gradient vector 이동평균선으로 aggregate하고 현재 gradient vector와 cosine similarity 구해서 특정 각도 theta(디폴트 90?)보다 크면 이 데이터가 outliar이라는 뜻이니 (similarity에 비례/반비례하게) learning rate를 그만큼 키우거나 줄인다.(근데 키워야함 줄여야함?)
vggnet으로 실험해서 몇 epoch이나 더 빨라지나 비교
PerfectNet, PerfectBlock : 좋은 신경망은 좋은 architecture + 좋은 깊이 + 좋은 objective 삼박자가 맞아야해서 조율하기 까다로움. 그러니 범용적으로 사용할 수 있는 좋은 architecture를 만들면 깊이와 objective만 조율하면 됨. PerfectBlock을 고안. inception module처럼 pooling, convolution을 병렬적으로 연결하되 추가로 ResNet처럼 identity shortcut까지 연결. 그러면 그 block을 안쓰는 경우엔 pooling, convolution이 0이되도록 학습해서 효율적?
픽셀값을 복제하면? 픽셀 하나를 가로, 세로 각각 2배로 복제해서 원래 이미지 크기 4배인 이미지로 학습하면 인접 뉴런들이 robust하게 배우지 않을지? 아니면 fire together, wire together에 의해 뉴런들간 서로 의존하는 효과가 늘어나서 오버피팅될까? 드롭아웃의 반대작용?
latent diffusion처럼 생각을 여러번 되풀이할수록 좋은, 퀄리티 높은 결과를 얻는다. 그럼 반복을 더할지 멈출지까지도 네트워크가 결정할 수 있도록 학습하면?
어떤 메모리를 참고할지 학습하는? 이게 뉴럴 튜링 머신 NTM?
Rnn에 대해 읽다가 생각이 났다. 이건 형식적으론 그럴듯하지만 의미적으론 이상할 수 있는 문장을 만든다. 한 단어 입렵을 시작으로 문장을 만들때 확률에 기반하여 다음 단어를 샘플링한다. 이는 확률이 낮은 단어도 일단 뽑히는게 가능하긴 하단 소리다. 이는 인간이 꿈을 꿀때, 헛소리를 할 때와 같다. 그저 자연스럽게 흐르는것에 신경쓰는거지, 맥락을 신경쓰지 않는 것이다. 즉, 무의식이다. 하지만 인간의 의식은 확률이 낮은 단어가 나오는 것을 불가능하게 한다. 일종의 결정적인 것이다. 어떻게 그게 가능할까? 의식이 조건condition 역할을 하는 것이다.
의식이 조건부 확률의 조건으로 작용해 낮은 확률의 단어 발생을 0으로 만드는 것이다. 따라서 의식은 short term memory에 기반한 state라고 볼 수 있다. 물론 long term memory에도 영향을 받을것이다. 아마 초기값이 long term memory고 거기서부터 short term memory와의 이동평균을 계산하는 state아닐까? 그리고 잠이 들때마다 현재 state를 기반으로 long term memory를 업데이트하고, 그 값을 다시 state의 초기값으로 변환해 사용하는 것이다.
잠재의식/표출의식 따로 있는것. 잠재의식은 내적인 정보 처리고 그 결과 표출의식이 생긴다. 잠재의식 > 변환/projection을 거쳐 > 표출의식(언어의 형태, 혹은 다른 감각의 형태) > 내적 관조에 의해 다시 인식됨. 또 병렬적으로 잠재의식 > 변환/projection > 운동 명령/신호
연극배우 인공지능을 만들수 있을까? 대본을 줬을때, 각자의 캐릭터에 해당하는 대사만 치도록 제한하는게 가능할까? 그게 가능하다면 인공지능 npc를 게임에 넣을 수 있을것이다
보편을 통계로 이해해야 한다. 객관의 기준조차 주관적인데 어떻게 객관적인 것이 존재할 수 있겠는가? 지식은 경험적으로 주어진다. 법칙은 귀납적이다.
모든 반박 : 그렇지만 수학은? 1+1=2는 객관적인/보편적인 진리가 아닌가?
