1. RAG 도입 배경LLM의 한계를 극복하자!→ LLM이 기존에 가지고 있지 않은 지식까지 활용해서 답변할 수 있도록 만들어주는 프레임워크→ Fine-Tuning, RAG 등의 기법들이 나옴     2. RAG의 구조 RAG 사용 유무에 따른 프롬프트 차이기존 : 사용자의 질문만 프롬프트로 받음 → LLM 학습 시 배우지 못한 내용에 대해서는 답변 불가with RAG : 외부 데이터 저장소에서 필요한 지식을 프롬프트로 전달 → 새로운 내용에 대해서도 답변 가능    3. 각 구성 요소의 역할 Document Loaders : 문서 불러옴Text Splitter : 문서 텍스트 분할Vector Embeddings : 문서 텍스트를 임베딩 형태로 변환하여 수치화된 임베딩 값을 벡터 형태로 저장Retriev..

Retriever Knowledge Base에서 Question과 관련된 Passage를 찾는 모델 전통적으로는 Sparse Representation을 나타내는 모델을 사용 (예 : BM25) Encoder 구조의 모델(예: BERT) retriever score retriever에 의해 산출되는 Passage와 Question의 내적값 Answer 산출 시 Passage의 Weight로 작용 score가 높다 = 해당 passage의 answer가 추론 시 중요 Reader Passage에서 Answer 후보가 될 수 있는 Span을 찾는 모델 Encoder 구조의 모델(예: BERT) reader score reader에 의해 산출되는 각 span별 answer의 점수(logit) span의 시작과..

1. 용어 정리 Question : 외부 지식 없이 쉽게 답할 수 없는 질문 Answer : passage 내에서 존재한다고 가정 (실제로 Passage 내에 연속된 span으로 존재한다고 보장이 되는 것은 아님) Knowledge Base : 외부 지식 데이터 베이스 Passage : Knowledge Base 내에서 질문과 관련성이 높아 선택한 문서 2. ODAQ란? 1) ODQA란? Open Domain Question Answering 의 줄임말 Question 이 주어졌을 때 Knowledge Base에서 Retriever가 불러온 관련된 Passage에서 Reader가 Answer를 추론하는 태스크 많은 연구에서 answer 는 관련된 passage 내에 연속된 토큰 (continuous sp..