introduction
LLM의 context는 나날이 길어지고 있고 이를 summarization , qa에 쓰이고 있다
하지만 요즘 lost in middle이라는 현상으로 인해 모든 정보 쓰는데 무리가 있다.
우리는 이것에 대한 가설을 내린다
1.PT에서 이전 몇 단어 가지고 이후 단어를 결정하기 때문
2.FT에서 instruction을 참고해서 답변을 생성하기 때문
우리는 따라서 information intensive training을 한다
이는 중요한 정보는 맥락 전체에 있다고 가르치는 것 이다
