[NLP] Closed-book Question Answering with T5

포스팅 개요

본 포스팅은 Closed-book Question Answering의 등장 배경, Open-book Question Answering과 Closed-book Question Answering의 차이, 그리고 Text-to-text format의 task에 대해 간략히 정리한 글입니다. 

---

1. Closed-book Question Answering

Idea of Closed-book Question Answering

MRC와 Open-Domain Question Answering을 통해 Closed-book Question Answering의 등장 배경을 살펴보자.

• Machine Reading Comprehension
  • question과 context를 input으로 받아, question에 대한 answer를 output으로 반환

• Open-Domain Question Answering
  • MRC에 answer를 찾거나 생성하기 위한 context를 retrieval하는 과정이 추가
  • 즉, question과 관련한 context를 찾은 후(retrieval), 그 context로부터 answer를 추출(MRC)
  • 그런데 question을 input으로 받아 answer를 output으로 반환하는 모델(PLM)이 이미 pre-training을 통해 대량의 지식을 학습한 상태라면, PLM 자체를 하나의 knowledge storage로 볼 수 있을 것이다. 그렇다면 QA 과정에서 굳이 retrieval 과정을 통해 관련된 context를 가져오는 과정을 거치지 않아도 되지 않을까?

• Closed-book Question Answering
  • Generation-based MRC와 유사하되, input으로 context 없이 query만 주는 형태로 진행
  • PLM으로는 seq-to-seq 형태의 Transformer 계열 모델 사용 (ex. BART)

Open-book QA vs. Closed-book QA

	Open-book QA	Closed-book QA
지식을 찾는 방식	대량의 지식 소스를 특정 문서 단위로 나누어 Dense/Sparse representation을 만든 후, query가 입력되면 그와 관련한 문서를 search하고 그 문서로부터 answer를 추출/생성	대량의 지식 소스 자체로 학습한 PLM이, query가 입력되면 그와 관련한 특정 문서를 search하는 과정 없이 바로 answer를 생성
문제점	- 지식 소스를 저장하기 어려움 - 문서 검색을 위한 시간 소요	- PLM이 얼마나 지식을 잘 기억하고 있는지가 중요 - 어떤 지식으로부터 정답을 생성했는지 알 수 없음

 

• cf. Open-Domain QA ≠ Open-book QA
  • Open-Domain: question과 answer의 주제의 제한 여부에 따라 Open-Domain QA와 Closed-Domain QA로 나뉨
  • Open-book: answer를 추출하는 모델에게 corpus를 제공할 지 여부에 따라 Open-book QA와 Closed-book QA로 나뉨

2. Text-to-Text Format

Text-to-Text Format

• input으로 text를 받아, output으로 새로운 text를 생성하는 문제
• 다양한 text processing 문제들은 Text-to-Text 문제로 치환할 수 있음
  • input의 맨 앞에 모델이 수행할 task에 대한 지시문(task-specific prefix)을 추가함으로써, Text-to-Text Format으로 다양한 task를 처리할 수 있음

T5

• 모델의 input과 output을 Text-to-Text format의 형태로 만들어 거의 모든 NLP task를 해결하도록 학습된 seq-to-seq 형태의 Transformer 모델
• 다양한 모델 구조, 사전학습 목표, 사전학습용 데이터 및 fine-tuning 방법들로 실험한 후, 가장 성능이 좋은 방식으로 pre-train