3장 그릇의 바닥
🧩 3장 요약
적응필터 adaptive filter(신호를 잡음으로부터 분리하는 법을 학습하는 전자 장비) 논의에서 시작된 대화는 훗날 최소 제곱 평균 least mean square, LMS 알고리즘으로 불리게 된 것을 발명했다. 이 알고리즘은 기계 학습에서 가장 영향력 있는 알고리즘으로 손꼽히며, 인공 신경망을 훈련하는 법을 찾아내는 토대임이 증명되었다.
인공 지능 즉, 만들어진 지능 지금 이 시대에선 흔하게 쓰이지만 1955년 이 용어를 처음 말했을 당시 얼마나 흥미로웠을까 상상이 되지 않는다. 특히 책에서 아래의 구절이 인상 깊었다.
인공지능에 대한 다트머스 여름 연구 사업 제안서 :
본 연구에서는 학습을 비롯한 지능의 모든 특징을 기계가 모방할 수 있도록 정확히 기술하는 것이 이론적으로 가능하다는 추측의 바탕을 제시하고자 합니다. 기계가 언어를 구사하고 추상과 개념을 형성하고 인간의 전유물로 간주되는 문제를 해결하고 스스로 개량하도록 하는 법을 찾아내려고 시도할 것입니다.
1️⃣ 적응 필터
디지털 신호는 연속적이지 않고 이산적이다. 일정한 시점 (매 밀리초)에서만 값을 가진다는 뜻이다. 위드로는 디지털 필터를 만들고 싶었지만, 시간이 지남에 따라 학습하고 개선될 수 있기를 바랐다. 즉, 실수에서 배워 스스로의 더 나은 버전이 되도록,, 그게 바로 적응 필터의 핵심인 것이다. 그리고 여기엔 근사한 미적분이 활용된다
..ㅎㅎ...ㅎㅇ 미적분..양..
즉, 적응 필터란? 디지털 필터 + 학습 능력 으로
- 일반 디지털 필터: 정해진 규칙대로만 신호 처리
- 적응 필터: 실수를 통해 스스로 개선되는 필터
하지만, 필터가 신호를 처리하다가 실수 발생하고 이 오차의 평균값을 구하려했으나
단순히 10번의 오차를 평균내면?
(+3) + (-2) + (+1) + (-4) = -2 (거의 0에 가까움)
실제로는 오차가 많은데 상쇄되어 "잘 작동한다"고 착각할 수 있다! 그래서 제곱 평균 오차를 이용한다. 그러면 음수든 양수든 모두 양수가 되어 상쇄되지 않기 때문이다.
낙하 (최급강하법)
여러분 머릿속으로 모종의 미적분 하는 법 아시나요??
당신이 산비탈 다랑이에 서 있다고 상상해라. 아래 골짜기에는 마을이 있다. 저 마을에 가야하지만 날이 저물고 있어서 몇 발짝 앞밖에 보이지 않는다. 비탈이 너무 가파르지는 않아서 가장 가파른 지점으로도 기어내려갈 수는 있다고 하자. 비탈이 너무 가파르지는 않아서 가장 가파른 지점으로도 기어내려갈 수 있다고 하자. 어떻게 내려가야할까? 다랑이 가장자리에서면 아래 다랑이로 이어지는 가장 가파른 경로가 보인다. 다음 평면으로 내려가는 가장 짧은 경로도 있다. 다랑ㅇ이에서 다랑이로 이 과정을 반복하면 결국 마을에 도착할 것이다. 그 과정에서 우리는 가장 가파른 내리막(최급강하)경로를 택.
다랑이 가장자리에 서서 여러 방향을 바라보며 비탈의 기울기를 평가한 다음 매번 가장 가파른 경로를 택한 것이다. 마라자면 우리는 방금 머릿속에서 모종의 미적분을 했다.
이 책은 참 겁 먹지 않게 친절하게 잘 설명해주는 것 같아요.
- 기울기(경사도) = 미분의 개념
다랑이에서 "어느 방향이 가장 가파른가?"를 판단하는 것은 이게 바로 기울기(gradient)를 구하는 것입니다.
- 미분 = 어떤 점에서의 기울기를 구하는 수학
- 여러 방향 확인 = 편미분
앞쪽 기울기, 오른쪽 기울기, 왼쪽 기울기... 모든 방향 체크하고, 2차원에서는 x방향 기울기 + y방향 기울기 = 편미분
∂f/∂x (x방향 기울기), ∂f/∂y (y방향 기울기)
- 가장 가파른 방향 = 그래디언트 벡터
모든 방향의 기울기를 종합해서 "가장 가파른 방향" 결정합니다.
이게 바로 그래디언트(∇f)
벡터로 표현: (∂f/∂x, ∂f/∂y)
수식으로 표현하면
산의 높이를 f(x,y)라고 하면:
그래디언트 = ∇f = (∂f/∂x, ∂f/∂y)
즉,
현재 위치에서 모든 방향의 경사도 측정 → 편미분 계산
가장 가파른 내리막 방향 선택 → 그래디언트의 반대 방향
그 방향으로 한 걸음 이동 → 최급강하법의 한 스텝
미적분의 본질은 변화율을 측정하는 것 당신이 "이 방향으로 가면 얼마나 빨리 내려가는가?"를 직감적으로 판단한 것이기에 머릿속에서 쉽게 미적분이 일어난거죠.
이게 바로 방향별 변화율(방향미분)을 구한 것!
... 투비 컨티뉴
