DPR이란? Dense Passage Retriever (DPR)는 자연어 처리(NLP) 작업에서 사용되는 한 종류의 정보 검색 시스템입니다. 특히, open-domain question answering과 같은 지식 기반 태스크에서 주로 사용되며, 관련 문서나 텍스트 패시지를 빠르고 효과적으로 찾아내는 데 도움을 줍니다. DPR의 주요 기능과 원리 Dense Vector Indexing: DPR은 문서 또는 문장을 밀집 벡터(dense vector)로 변환합니다. 이 벡터는 문서의 내용을 수치적으로 표현한 것으로, 딥러닝 모델을 통해 자동으로 학습됩니다. 각 문서는 고정된 크기의 벡터로 표현되며, 이 벡터는 문서의 의미적 특성을 잘 반영하도록 설계됩니다. Embedding Matching: 사용자의 질..

1. 용어 정리 Question : 외부 지식 없이 쉽게 답할 수 없는 질문 Answer : passage 내에서 존재한다고 가정 (실제로 Passage 내에 연속된 span으로 존재한다고 보장이 되는 것은 아님) Knowledge Base : 외부 지식 데이터 베이스 Passage : Knowledge Base 내에서 질문과 관련성이 높아 선택한 문서 2. ODAQ란? 1) ODQA란? Open Domain Question Answering 의 줄임말 Question 이 주어졌을 때 Knowledge Base에서 Retriever가 불러온 관련된 Passage에서 Reader가 Answer를 추론하는 태스크 많은 연구에서 answer 는 관련된 passage 내에 연속된 토큰 (continuous sp..