NLP/Concept10 [NLP] Closed-book Question Answering with T5 포스팅 개요 본 포스팅은 Closed-book Question Answering의 등장 배경, Open-book Question Answering과 Closed-book Question Answering의 차이, 그리고 Text-to-text format의 task에 대해 간략히 정리한 글입니다. 1. Closed-book Question Answering Idea of Closed-book Question Answering MRC와 Open-Domain Question Answering을 통해 Closed-book Question Answering의 등장 배경을 살펴보자. Machine Reading Comprehension question과 context를 input으로 받아, question에 대한.. 2023. 6. 9. [NLP] Open Domain Question Answering: Linking MRC and Retrieval 포스팅 개요 본 포스팅은 Open Domain Question Answering의 등장 배경과 개요, ODQA에서의 retrieval-reader approach에 대하여 간략히 정리한 글입니다. 1. Introduction to Open-Domain Question Answering (ODQA) MRC: 지문을 기반으로 한 질의응답 ODQA: 특정 지문이 아닌 방대한 world knowledge를 기반으로 한 질의응답 ex. modern search engines: 검색어와 연관된 문서와 더불어 질문에 대한 답을 함께 제공 Text Retrieval Conference (TREC) - QA Tracks (1999-2007) 연관 문서만 반환하는 Information Retrieval (IR)에서 더 나.. 2023. 6. 9. [NLP] Passage Retrieval: Scaling Up 포스팅 개요 본 포스팅은 현실의 large document corpus에 Passage Retrieval을 적용하기 위한 두 가지 방법인 compression과 pruning, 그리고 이를 적용해볼 수 있는 라이브러리인 FAISS에 대해 정리한 글입니다. 1. Passage Retrieval and Similarity Search Similarity Search brute-force(exhaustive) search query와 모든 passage간의 유사도를 구함으로써 유사도가 가장 큰 passage를 찾는 방법 MIPS (Maximum Inner Product Search) query 벡터 q에 대하여 passage 벡터 v들 중 가장 query와 유사한(=내적값이 큰) 벡터를 찾음으로써 query와.. 2023. 6. 7. [NLP] Passage Retrieval 포스팅 개요 본 포스팅은 Open Domain Question Answering의 첫 번째 과정인 Passage Retrieval(단락 검색)에 대해 정리한 글입니다. passage의 embedding을 생성하는 두 가지 방식(sparse embedding, dense embedding)을 중심으로 정리하였습니다. 1. Introduction to Passage Retrieval Passage Retrieval 질문(query)과 연관있는 문서(passage)를 찾는 것 Passage Retrieval with MRC Open-domain Question Answering 대규모의 문서 속에서 질문(query)에 대한 정답(answer)을 찾는 task 대규모의 문서 속에서 질문과 연관된 문서를 찾고 (.. 2023. 6. 7. [NLP] Machine Reading Comprehension 포스팅 개요 본 포스팅은 Open Domain Question Answering의 두 번째 과정인 Machine Reading Comprehension(기계 독해)에 대해 정리한 글입니다. MRC의 방법론 중 Extraction-based와 Generation-based를 중심으로 작성하였습니다. What is Machine Reading Comprehension(MRC)? 기계 독해 (Machine Reading Comprehension) 주어진 지문(context)에 대한 이해를 바탕으로, 질문(query / question)에 대한 답변을 추론하는 문제 질문이 입력되면, 그 질문과 관련한 지문을 찾고, 지문으로부터 질문에 대한 답을 찾는 순서로 진행됨 Subfields of MRC Extracti.. 2023. 6. 6. [NLP] BERT basic 1. BERT 모델 소개 학습 코퍼스 데이터 BooksCorpus (800M words) English Wikipedia (2,500M words without lists, tables and headers) 30,000 token vocabulary 데이터의 tokenizing WordPiece tokenizing He likes playing → He likes play ##ing 입력 문장을 tokenizing하고, 그 token들로 ‘token sequence’를 만들어 학습에 사용 모델 Pre-Training Masked LM 일부 token을 masking한 후, masking된 token을 예측하는 방식으로 학습 전체 token의 15%를 선택하여, 그 중 80%는 [MASK] token으로.. 2023. 5. 5. [NLP] Beam Search 1 Greedy Decoding Greedy Decoding seq2seq model의 decoder의 각 time step마다 가장 높은 확률값을 가지는 단어 하나만을 output으로 return하는 방식 ‘단어’ → 문장 전체에 대한 확률을 고려하는 것이 아니라, 각 time step에서의 단어에 대한 확률만을 고려함 ‘하나’ → 한 번 결정된 output을 취소할 수 없어, 한 번 잘못된 output을 생성하면 잘못 생성한대로 그 이후 time step에 계속하여 영향을 미치게 됨 2 Exhaustive Search Exhaustive Search 가능한 모든 경우의 수를 고려하여 최적해를 찾는 방식 Exhaustive Search의 작동 방식 vocabulary size가 V이고, time ste.. 2023. 4. 3. [NLP] Seq2Seq with Attention 1 Sequence to Sequence Problem 1.1 sequence 단어들의 나열 (=문장, 문단 ..) 1.2 sequence to sequence 하나의 sequence를 다른 sequence로 바꾸는 것 ex Machine Translation: 제 이름은 지은이고, 저는 학생입니다. → My name is Jieun and I am a student. Summarization: 긴 text → 짧은 text Dialog: 이전 대화 → 이후 대화 2 Seq2Seq Model (= Encoder-Decoder Architecture) 2.1 Seq2seq 시계열 데이터를 input으로 받아 다른 시계열 데이터들로 변환할 때 사용 2.2 Encoder-Decoder 구조 : Many to .. 2023. 4. 3. [NLP] Sequential Model Sequential Model Sequence Data Sequence Data: 시점에 따라 달라지는 데이터 과거 데이터가 현재 데이터의 처리에 있어서 도움이 되는 경우 순서가 중요한 데이터 ex. 자연어 처리. 시계열 데이터. 영상 처리. 주식 Sequantial data는 길이가 일정하지 않음 = model에 입력될 input data의 size가 일정하지 않음→ input data의 size에 상관 없이 동작이 가능한 model을 필요로 함 2 Sequential Model Autoregressive model 이전 n개의 data에만 dependeant하도록 만들어진 model Markov model (1차 Autoregressive model) joint distribution을 쉽게 표현할 .. 2023. 4. 3. 이전 1 2 다음
