😱 μ˜ˆλΉ„μˆ˜ν•™ ꡐ사도 λͺ¨λ₯΄κ³  μžˆλŠ” ν™•λ₯ λ³€μˆ˜ 3νŽΈπŸ€” ν™•λ₯ λ³€μˆ˜ μ‚¬μ΄μ˜ μ—°μ‚°

hshΒ·2021λ…„ 10μ›” 13일
2
post-thumbnail

1. Introduction

1-1. Preminaries

  1. 😱 μ˜ˆλΉ„μˆ˜ν•™ ꡐ사도 λͺ¨λ₯΄κ³  μžˆλŠ” ν™•λ₯ λ³€μˆ˜! πŸ€” μ œλŒ€λ‘œ μ•Œκ³  μžˆλ‹ˆ?
  2. 😱 μ˜ˆλΉ„μˆ˜ν•™ ꡐ사도 λͺ¨λ₯΄κ³  μžˆλŠ” ν™•λ₯ λ³€μˆ˜! πŸ€” P([X=1])의 의미λ₯Ό μ°Ύμ•„μ„œ..
  • 첫번째 글을 톡해 ν™•λ₯ λ³€μˆ˜κ°€ 사싀 츑도둠을 μ•Œμ•„μ•Ό 이해할 수 μžˆλŠ” κ°œλ…μ΄μ§€λ§Œ 톡계학 곡뢀 μ‹œμž‘μ„ μœ„ν•΄ κ°„λ‹¨νžˆ ν•¨μˆ˜λΌκ³  μƒκ°ν•˜κΈ°λ‘œ ν–ˆλ‹€.
  • λ‘λ²ˆμ§Έ 글을 톡해 ν™•λ₯ λ³€μˆ˜κ°€ ν•¨μˆ˜λΌκ³  μƒκ°ν–ˆμ„ λ•Œ P([X=1])이 μ–΄λ–»κ²Œ μ •μ˜λ˜λŠ”μ§€ μ‚΄νŽ΄λ΄€λ‹€. [X=1]은 inverse image둜 Xκ°€ 1이 되게 ν•˜λŠ” sample의 λͺ¨μž„ 이닀.

1-2 ν™•λ₯ λ³€μˆ˜μ˜ μ—°μ‚°

  • μš°λ¦¬λŠ” λ‹€μ–‘ν•œ μžλ£Œμ—μ„œ ν™•λ₯ λ³€μˆ˜μ˜ 연산을 λ³Ό 수 μžˆλ‹€.

  • 예λ₯Ό λ“€λ©΄ μ•„λž˜μ²˜λŸΌ λ‹€μ–‘ν•œ ν‘œν˜„μ΄ μžˆλ‹€.

    • Z=f(X,Y),f(x,y)=x+log(x)+xyZ = f(X,Y), f(x,y)=x+log(x)+x^y
    • Z=X+YZ = X+Y
    • Z=XYZ = XY
    • Z=E(X∣Y)Z = E(X|Y)
  • μœ„ ν‘œν˜„μ„ λͺ¨λ‘ μ •ν™•νžˆ μ΄ν•΄ν•˜λ €λ©΄ ν™•λ₯ λ³€μˆ˜κ°€ ν•¨μˆ˜λΌλŠ” 것을 μ•Œμ•„μ•Ό ν•œλ‹€.

  • ν•¨μˆ˜λΌλŠ” 것을 μ•Œκ³ λ‚˜λ©΄ 사싀 μœ„ ν‘œν˜„μ€ 이제 맀우 μ‰¬μ›Œμ§„λ‹€.

2. Operations on Functions

  • ν™•λ₯ λ³€μˆ˜λŠ” 사싀 ν•¨μˆ˜μ΄λ‹€.
  • ν™•λ₯ λ³€μˆ˜ μ‚¬μ΄μ˜ 연산을 μ•Œμ•„λ³΄κΈ° 전에 고등학ꡐ λ•Œ λ°°μ› λ˜ ν•¨μˆ˜ μ‚¬μ΄μ˜ 연산을 λ‹€μ‹œ κΈ°μ–΅ν•΄λ³΄μž.

2-1 Pointwise operations

  • 두 ν•¨μˆ˜ μ‚¬μ΄μ˜ 사칙 연산은 점별연산 (Pointwise operations)으둜 λΆˆλ¦°λ‹€.

  • κ³±ν•˜κΈ°, λ”ν•˜κΈ°λ§Œ μ•Œλ©΄ λΉΌκΈ°, λ‚˜λˆ„κΈ°λŠ” μ—­μˆ˜κ³±, 음수 λ”ν•˜κΈ°λ‘œ μ •μ˜ν•  수 μžˆλ‹€.

  • λ”°λΌμ„œ κ³±ν•˜κΈ°, λ”ν•˜κΈ°λ§Œ μ•Œμ•„λ³΄μž

  • μ΄λ¦„μ—μ„œλ„ μ•Œ 수 μžˆλ“―μ΄ 점별 연산은 각 μ λ§ˆλ‹€ λ‹¨μˆœν•˜κ²Œ λ”ν•œ 것 이닀.

  • +(λ”ν•˜κΈ°)

    • f+g:xβ†’f(x)+g(x)f+g : x\rightarrow f(x) + g(x)

    • h=f+g,Β Β h(x)=f(x)+g(x)h= f+g, \ \ h(x) = f(x) + g(x)

    • 기쑴에 주어진 두 ν•¨μˆ˜ f,와 g의 λ§μ…ˆμœΌλ‘œ μƒˆλ‘œμš΄ ν•¨μˆ˜ hλ₯Ό λ§Œλ“€ 수 μžˆλ‹€. λ‹¨μˆœνžˆ ν•¨μˆ˜μ˜ κ²°κ³Όλ₯Ό λ”ν•˜λ©΄ λœλ‹€.

  • ν•¨μˆ˜ κ³±ν•˜κΈ°

    • fg:xβ†’f(x)g(x)fg : x\rightarrow f(x) g(x)

    • h=fg,Β Β h(x)=f(x)g(x)h= fg, \ \ h(x) = f(x) g(x)

    • 기쑴에 주어진 두 ν•¨μˆ˜ f,와 g의 κ³±μ…ˆμ„ fg둜 ν‘œκΈ°ν•˜κ³  μ—°μ‚°μ˜ 결과둜 μƒˆλ‘œμš΄ ν•¨μˆ˜κ°€ λ‚˜μ˜¨λ‹€. μƒˆλ‘œμš΄ ν•¨μˆ˜λŠ” λ‹¨μˆœνžˆ 두 ν•¨μˆ˜μ˜ κ²°κ³Όλ₯Ό κ³±ν•˜λŠ” κ²ƒμœΌλ‘œ μ •μ˜λœλ‹€.

  • μ‹€μˆ˜ κ³±ν•˜κΈ°

    • kf:xβ†’kf(x)kf : x\rightarrow k f(x)

    • h=kf,Β Β h(x)=kf(x)h= kf, \ \ h(x) = k f(x)

    • 슀칼라 값을 λ‹¨μˆœνžˆ ν•¨μˆ˜μ— κ³±ν•˜λŠ” 것은 κ·Έ 결과에 kλ°° ν•˜λŠ” 것을 λœ»ν•œλ‹€.

2-2 function composition

  • λ‘λ²ˆμ§Έ 연산은 ν•¨μˆ˜μ˜ 합성이닀.
  • 두 ν•¨μˆ˜κ°€ μ£Όμ–΄μ‘Œμ„ λ•Œ f ν•¨μˆ˜μ˜ κ²°κ³Όλ₯Ό gκ°€ λ°›μ•„μ„œ μ“°κ²Œ ν•˜κ³  싢을 수 μžˆλ‹€.
  • μ΄λ•Œ ν•¨μˆ˜μ˜ 합성을 ν•˜κ²Œ λœλ‹€.
  • g∘fg \circ f
    • g∘fβ†’g(f(x))g \circ f \rightarrow g(f(x))

3. Operations on Random Variables

  • Random variable은 ν•¨μˆ˜μ΄λ‹€.
  • λ”°λΌμ„œ Random variable의 연산은 ν•¨μˆ˜μ˜ 연산을 λ˜‘κ°™μ΄ μƒκ°ν•˜λ©΄ λœλ‹€.
  • Random Variableκ°„ 연산이 μžˆμ„ λ•ŒλŠ” "ν•¨μˆ˜μ˜ μ—°μ‚°"을 ν•œλ‹€κ³  μƒκ°ν•˜λ©΄ λœλ‹€.

3-1 Examples

  • X+YX+Y
    • μƒˆλ‘œμš΄ ν™•λ₯ λ³€μˆ˜λ₯Ό X+Y둜 μ •μ˜ν•œ 것이닀. λ§Œμ•½ μƒˆλ‘œμš΄ ν™•λ₯ λ³€μˆ˜μ˜ 이름을 H라고 ν•œλ‹€λ©΄ HλŠ” λ‹€μŒκ³Ό 같이 μ •μ˜λœλ‹€.
    • H(e)=X(e)+Y(e)H(e)=X(e) + Y(e)
  • XYXY
    • μƒˆλ‘œμš΄ ν™•λ₯ λ³€μˆ˜λ₯Ό XY둜 μ •μ˜ν•œ 것이닀. λ§Œμ•½ μƒˆλ‘œμš΄ ν™•λ₯ λ³€μˆ˜μ˜ 이름을 H라고 ν•œλ‹€λ©΄ HλŠ” λ‹€μŒκ³Ό 같이 μ •μ˜λœλ‹€.
    • H(e)=X(e)Y(e)H(e)=X(e)Y(e)
  • H=f(X),Β Β Β f(x)=2x+log(x)+2xH=f(X),\ \ \ f(x) = 2x+log(x) + 2^x
    • μƒˆλ‘œμš΄ random variable을 ν•¨μˆ˜μ˜ 합성을 μ‚¬μš©ν•΄ f(X)f(X) 둜 μ •μ˜ ν•œ 것이닀.
    • H(e)=f(X(e))=2X(e)+log(X(e))+2X(e)H(e) = f(X(e)) = 2X(e)+log(X(e)) + 2^{X(e)}
  • H=f(Z,X)Β Β Β f(x,y)=xy+log(y)+xyH=f(Z,X)\ \ \ f(x,y)= x^y+log(y)+xy
    • λ§ˆμ°¬κ°€μ§€λ‘œ ν•¨μˆ˜μ˜ 합성을 μ‚¬μš©ν•œ 것이닀.
    • μƒˆλ‘œμš΄ random variable H은 λ‹€μŒκ³Ό κ°™λ‹€.
    • H(e)=f(Z(e),X(e))=Z(e)X(e)+log(X(e))+Z(e)X(e)H(e) = f(Z(e), X(e)) = Z(e)^{X(e)}+log(X(e))+Z(e)X(e)

4. μƒˆλ‘œμš΄ Random Variable 직접 λ§Œλ“€μ–΄ 보기

  • ν‘œλ³Έκ³΅κ°„ = {🌧️, β˜€οΈ, ☁️, ❄️}κ³Ό ν™•λ₯ ν•¨μˆ˜ P(🌧️) = .1, P(β˜€οΈ) = .3, P(☁️) = .5, P(❄️) = .1 이 μ£Όμ–΄μ‘Œμ„ λ•Œ ν‘œλ³Έκ³΅κ°„μ„ μ •μ˜μ—­μœΌλ‘œν•˜λŠ” μ‹€ν•¨μˆ˜ 2개λ₯Ό λ§Œλ“€μ–΄λ³΄μž.
    • X(🌧️) = -1, X(β˜€οΈ) = 3, X(☁️) = 5, X(❄️) = 20,
    • Y(🌧️) = 1, Y(β˜€οΈ) = 2, Y(☁️) = 0, Y(❄️) = 1,
  • ν™•λ₯ λ³€μˆ˜ λ‘κ°œ X, Yλ₯Ό λ§Œλ“€μ—ˆλ‹€. 이제 μƒˆλ‘œμš΄ ν™•λ₯ λ³€μˆ˜λ₯Ό λ§Œλ“€μ–΄λ³΄μž.
    • Z=X+Y
      • Z(🌧️) = X(🌧️) + Y(🌧️) = -1 + 1 = 0
      • Z(β˜€οΈ) = X(β˜€οΈ) + Y(β˜€οΈ) = 3 + 2 = 5
      • Z(☁️) = X(☁️) + Y(☁️) = 5 + 0 = 5
      • Z(❄️) = X(❄️) + Y(❄️) = 20 + 1 = 21
    • Z=XY
      • Z(🌧️) = X(🌧️) Y(🌧️) = -1 * 1 = -1
      • Z(β˜€οΈ) = X(β˜€οΈ) Y(β˜€οΈ) = 3 * 2 = 6
      • Z(☁️) = X(☁️) Y(☁️) = 5 * 0 = 0
      • Z(❄️) = X(❄️) Y(❄️) = 20 * 1 = 20
    • Z=f(X,Y) , f(x,y)=x2+y2f(x,y) = x^2 + y^2
      • Z(🌧️) = X(🌧️)X(🌧️) + Y(🌧️)Y(🌧️) = -1*-1 + 1*1 = 2
      • Z(β˜€οΈ) = X(β˜€οΈ)X(β˜€οΈ) + Y(β˜€οΈ)Y(β˜€οΈ) = 3*3 + 2*2 = 13
      • Z(☁️) = X(☁️)X(☁️) + Y(☁️)Y(☁️) = 5*5 + 0*0 = 25
      • Z(❄️) = X(❄️)X(❄️) + Y(❄️)Y(❄️) = 20*20 + 1*1 = 401
    • Z=E(X∣Y)Z = E(X|Y)
      • 이 κ²½μš°λ„ ν•©μ„±ν•©μˆ˜μ˜ 경우인데 μ΄μ€‘κΈ°λŒ“κ°’μ •λ¦¬λ₯Ό λ°°μšΈλ•Œ 이 ν‘œν˜„μ„ 보게 λœλ‹€.
      • 사싀 μ—¬λŸ¬κ°œκ°€ μƒλž΅λœ ν‘œν˜„μΈλ° μ‰½κ²Œ ν‘œν˜„ν•˜λ©΄ λ‹€μŒκ³Ό κ°™λ‹€.
        • EX(X∣Y=Y(e))E_X(X|Y=Y(e))
      • Z(🌧️) = E(X|Y(🌧️)) = E[X|Y=1] = 19/2
        • Y=1일 κ²½μš°λŠ” 🌧️,❄️가 λ‚˜μ˜¬ 경우이고 μ΄λ•Œ XλŠ” -1, 20이닀. 각각 Y=1일 λ•Œ 각각 쑰건뢀 ν™•λ₯ μ€ 0.5, 0.5μ΄λ―€λ‘œ 쑰건뢀 κΈ°λŒ“κ°’μ€ βˆ’1βˆ—0.5+20βˆ—0.5=19/2-1*0.5 + 20*0.5= 19/2 이닀
      • Z(β˜€οΈ) = E(X|Y(β˜€οΈ)) = E[X|Y=2] = 3
      • Z(☁️) = E(X|Y(☁️)) = E[X|Y=0] = 5
      • Z(❄️) = E(X|Y(❄️)) = E[X|Y=1] = 19/2

5. Conclusion

  • ν™•λ₯ λ³€μˆ˜λŠ” ν•¨μˆ˜μ΄λ‹€.
  • λ”°λΌμ„œ ν™•λ₯ λ³€μˆ˜μ˜ 연산은 ν•¨μˆ˜μ˜ 연산을 κ·ΈλŒ€λ‘œ μ μš©ν•œλ‹€.
  • ν™•λ₯ λ³€μˆ˜ 연산을 톡해 μƒˆλ‘œμš΄ ν•¨μˆ˜κ°€ λ§Œλ“€μ–΄μ§„λ‹€.
profile
Machine Learning Engineer: recsys, mlops

0개의 λŒ“κΈ€