Similarity Analysis of Legal Judgments (ACM, 2011)

Minhan Cho·2023년 1월 3일
0

LegalAI Papers Review

목록 보기
3/4

Kumar, S., Reddy, P. K., Reddy, V. B., & Singh, A. (2011, March). Similarity analysis of legal judgments. In Proceedings of the fourth annual ACM Bangalore conference (pp. 1-4).

PCNet 논문, 피인용수 61회 (2023.1.2. 기준)

코멘트

인도는 영미법계라 인용하는 판결이 상대적으로 많아서(판례 당 3-12) 이런 citation graph 같은 게 좀 잘 이루어질 수 있는데, 우리나라 대법원 판례는 가능할지 잘 모르겠음. 슥 봤는데 인용 판례가 1개밖에 없는 판결도 있고 해서 난감함. 관련 법령을 비슷하게 엮어야 하나??

Abstract

  • IR과 search engine에서 일반적으로 사용되는 technique 이상의 것을 이용해 legal IR에 적용
  • all-term, legal-term, co-citation, bibliographic coupling-based similarity mehtod를 사용
  • legal-term cosine similarity method가 all-term cosine similarity보다 성능이 나았음
  • bibliogrpahic coupling similarity가 co-citation approach보다 성능이 나았음

1. Introduction

  • 일단 common law(영미법) system based임(인도라 그런 듯)
  • stakeholder(e.g. judges, laywers) 대상
  • 기존 방법: (1) BoW, tf-idf, (2) vector space model, (3) links for co-citation & bibliographic coupling
  • 새로운 방법: legal term, bibliogrpahic based similarity method가 나음
  • significant parts: Act, Headnote, Citation, Case Citation
    - Act(그 뭐냐 그 법?): category of the dispute discussed in the judgement
    - Headnote(전문?): brief summary of judgement
    - Citation(판결번호?): unique IDs by which a judgement will be referred by other judgements
    - Case Citation(인용판결?): references made to other judgements

  • Case Citations
    - out-citation: 본 판결서에서 언급하는 case citations
    - in-citations: 본 판결서를 언급하는 case citations

위 fig1에서 C, D, E, F는 A의 out-citations이며, A, B는 E의 in-citations임

3. Similarity Measures

  • All-term cosine similarity: 모든 term에 대해 tf-idf 구해서 cosine similarity
  • Legal-term cosine similarity: legal dictionary에 있는 legal term에 대해 tf-idf 구해서 cosine similarity
  • Bibliographic Coupling similarity: 판결서의 headnote에서 regex 사용해서 out-citation을 뽑아내고, <judgement, out-citation>의 형태로 pari 만듦
    Bibliographic Coupling similarity score는 두 판결서가 공통적으로 언급하는 out-citations의 갯수와 같음(equal to the number of common 'out-citations')
  • Co-citation similarity: out-citation 다 뽑아낸 뒤에 <judgement, in-citation> 형태로 다시 정리함. 두 판결서의 co-citation similarity score는 공통되는 'in-citation'의 숫자와 같음(equal to the number of common 'in-citations')

4. Experiments

  • 인도 대법원의 2,430 judgements: 인도는 영미법계(common law system)
  • 한 판결서 당 out-citations는 3-12개
  • 5명의 legal domain expert가 한 쌍의 판결서에 대해 1-10 사이의 similarity score를 매기고 이것을 평균내서 gold standard로 삼음
  • legal domain expert의 similarity 판단기준 3가지
    - similarity in issue discussed in the judgement: 쟁점의 유사성
    - similarity in underlying facts of the judgement: 사실관계의 유사성
    - utility to the lawyer researching for judgements similar to a given judgement: 주어진 판결과 비슷한 판례를 찾을 때 변호사들이 가질 수 있는 효용

First Experiment

  • 각 판결 pair에 대해 네 가지 점수 중 하나만 높은 것들을 묶은 각각의 group과 실제 변호사들이 매긴 점수를 비교하였음
  • All terms score, CC score(co-citation score)는 gold standard와의 유사성이 낮고, legal term score, BC score(Bibliographic Coupling score)는 유사성이 높음

Second Experiment

  • BC score의 effectiveness를 다른실험으로 비교하였음
  • BC score가 3이상인 pair에 대해 legal domain expert에게 보냈더니 18개 pair 중 17개 pair에 대해 expert의 similarity score 0.5 이상(0-1로 normalize되었음)을 기록하였음
  • legal term score는 예상된 바이나, BC score가 높은 것은 interesting

Analysis by domain experts

case study임

5. Summary and Conclusion

생략

profile
multidisciplinary

0개의 댓글