파라미터 개수만큼 샘플을 넣어야 하는 건 아님
Dense(8, use_
파라미터 개수가 처리 속도와 연관 있음
메모리 점유와 전력소모도 생각힐 수 있음(임베디드)
통계를 내는 것
BN 하는 역할 : 노드의 입력이 정규분포로 반환이 됨
완벽한 건 아니지만 정규분포 비슷하게 나옴
relu쓰면 함수에 각이 지기 때문에
부드럽게 나와야 할 때는 relu쓰면 안 됨
relu 쓰면 회귀쓰든 결정경계 나누든
각이 지지만 학습은 빨라지지만
정교한 게 중요해 Activation('tahn')을 사용
BN과 대응하여
lamdba로 스케일링해 정규화 또 시켜줌
weight가 gain의 역할을 안 하도록 해야함
입력이 -1~1이면 출력도 -1~1로 맞춰줘야지 출력을 해야(범위를 맞춰줘야) 학습이 잘 실행 됨
deep_model = keras.models.Sequential([
keras.layers.BatchNormalization(),
keras.layers.Dense(8, use_bias=False),
keras.layers.BatchNormalization(),
keras.layers.Activation('tanh'),
keras.layers.Dense(8, use_bias=False),
keras.layers.BatchNormalization(),
keras.layers.Activation('tanh'),
keras.layers.Dense(3),
keras.layers.Lambda(lambda x : (x + 1) * 127.5)
])
loss가 33정도 떨어지면 잘 실행 되었다는 의미
32로 나누게 되면
한 번 집어 넣을 때마다
64833번씩이나 넣었다 뺐다 해야하니
오베헤드 일어날 수 있음
element-wise : 각 원소별로 곱셈을 하는 것
shape이 같아야 함
이렇게 shape을 맞춰줌
크기가 다른 걸 넣더라도 복제해서 맞출 수 있으면 됨
실 * 실 = 실
element-wise 연산도 실수가 나옴
3 > 5 = False(bool)
각각의 원소에 대해 bool 값도 나옴
numpy에서 indetion 하는 경우
True인 것만 가져옴
이 연산이 a를 바꿈(어색)
a의 0번째 자리에 1을 집어 넣는 것
a와 a[0]=1은 다름
a[0]=1는
값을 가져오는 게 아니라 자리를 뜻하는 것
r-value가 값을 가져오는 것
l-value
묵시적 형변환
