[P3] Week 2 Day 10

나며기·2021년 5월 9일
0

부스트캠프 AI Tech

목록 보기
68/79
post-thumbnail

가) 오늘 내 학습목표는 무엇이었나요?

  1. Elasticsearch + PORORO
  2. 제출 기회 5번 모두 사용하기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

  1. EM : 17.08%, F1 : 48.39%
  • Elasticsearch + PORORO
  • MRC score (start + 0.1 * end)
  1. EM : 45.83%, F1 : 62.30%
  • Elasticsearch + PORORO
'my_similarity':{
    'type':'BM25',
}
query = {
    'query':{
        'bool':{
            'should':[
                      {'match':{'text':test_dataset['question'][num]}}
            ]
        }
    }
}
  1. EM : 44.58%, F1 : 61.35%
  • Elasticsearch + PORORO
'my_similarity':{
    'type':'BM25',
}
query = {
    'query':{
        'bool':{
            'should':[
                      {'match':{'text':test_dataset['question'][num]}}
            ] + [
                 {'match':{'text':i}} for i in mecab.nouns(test_dataset['question'][num])
            ]
        }
    }
}
  1. EM : 38.75%, F1 : 53.82%
  • Elasticsearch + PORORO
'my_similarity':{
    'type':'BM25',
}
query = {
    'query':{
        'bool':{
            'should':[
                      {'match':{'text':test_dataset['question'][num]}},
                      {'match':{'title':test_dataset['question'][num]}}
            ] + [
                 {'match':{'text':i}} for i in mecab.nouns(test_dataset['question'][num])
            ] + [
                 {'match':{'title':i}} for i in mecab.nouns(test_dataset['question'][num])
            ]
        }
    }
}
  1. EM : 48.33%, F1 : 63.42%
  • Elasticsearch + PORORO
'settings':{
    'analysis':{
        'analyzer':{
            'my_analyzer':{
                "type": "custom",
                'tokenizer':'nori_tokenizer',
                'decompound_mode':'mixed',
                'stopwords':'_korean_',
                "filter": ["lowercase",
                           "my_shingle_f",
                           "nori_readingform"]
            }
        },
        'filter':{
            'my_shingle_f':{
                "type": "shingle"
            }
        }
    },
    'similarity':{
        'my_similarity':{
            'type':'BM25',
        }
    }
},

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

  • shingle로 모델을 개선했습니다.

라) 내일은 어떻게 다르게 시도해보실 수 있을까요?

  • 내일도 Elasticsearch + PORORO를 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!

profile
PLUS ULTRA

0개의 댓글