๐Ÿ” 5. ๊ฒ€์ƒ‰์— ์‚ฌ์šฉํ•˜๋Š” ํ™•๋ฅ  ๋ชจ๋ธ

๊น€์ง€์œคยท2023๋…„ 10์›” 24์ผ
0

์ •๋ณด๊ฒ€์ƒ‰

๋ชฉ๋ก ๋ณด๊ธฐ
5/11
  • ๊ฒฐํ•ฉ ํ™•๋ฅ 

    ๋™์‹œ์— ์ผ์–ด๋‚  ํ™•๋ฅ  P(AโˆฉB) = P(A,B)

  • ์กฐ๊ฑด๋ถ€ ํ™•๋ฅ 

    B๊ฐ€ ์ผ์–ด๋‚˜๊ณ  A๊ฐ€ ์ผ์–ด๋‚  ํ™•๋ฅ  P(A|B) = P(A,B) / P(B)

  • Odds

    O(A) = P(A) / P(๐ดย ฬ…) = (A๊ฐ€ ์ผ์–ด๋‚  ํ™•๋ฅ  / A๊ฐ€ ์ผ์–ด๋‚˜์ง€ ์•Š์„ ํ™•๋ฅ )



๐Ÿ“Š ํ™•๋ฅ ์„ ์‚ฌ์šฉํ•˜์—ฌ Ranking ๋งค๊ธฐ๊ธฐ

PRP (Probability Ranking Principle)

  • P(R=1|d,q) : ํ•ด๋‹น ๋ฌธ์„œ๊ฐ€ ์ •๋‹ต์ผ ํ™•๋ฅ 

  • BIM (Binary Independence Model)
    ๊ฐ term๋“ค์€ ๋…๋ฆฝ์ ์œผ๋กœ ๋™์ž‘ํ•˜๊ณ , tf๊ฐ€ 1์ด๋ฉด 1๋กœ ๋‚˜ํƒ€๋‚ธ๋‹ค.




๐Ÿ“Š ํ™•์žฅ๋œ ํ™•๋ฅ ๋ชจ๋ธ


-> ํ™•๋ฅ ๋ชจ๋ธ ๊ณ„์‚ฐ์„ ์œ ๋„ํ•ด๋ณด๋‹ˆ IDF์™€ ๊ฐ™์€ ๊ณ„์‚ฐ์‹์ด ๋˜์—ˆ๋‹ค.


  • Okapi BM25

    • non-binary model

    • ์œ„ ์‹์— tf๋ถ€๋ถ„์„ ์ถ”๊ฐ€ํ•˜์˜€๋‹ค.

profile
๊พธ์ค€ํ•˜๊ฒŒ ๊ณต๋ถ€ํ•˜๊ณ  ๊ธฐ๋กํ•˜๋Š” ๊ฐœ๋ฐœ์ž

0๊ฐœ์˜ ๋Œ“๊ธ€