[langChain] LangChain Expression Language(LCEL)
·
LLM
1. LangChain Expression Language 이란?LangChain Expression Language (LCEL)은 LangChain 라이브러리에서 제공하는 *선언적 방식의 인터페이스로, 복잡한 LLM (Large Language Model) 애플리케이션을 구축하고 실행하기 위한 도구입니다. LCEL은 LLM, 프롬프트, 검색기, 메모리 등 다양한 컴포넌트를 조합하여 강력하고 유연한 AI 시스템을 만들 수 있게 해줍니다. 👀 1) : 선언적 프로그래밍은 개발자가 복잡한 LLM 애플리케이션을 구축 할 때, "목표"나 "결과"를 명시하고, 그 목표를 달성하기 위한 구체적인 실행 절차는 프레임워크나 언어 런타임이 처리하도록 맡기는 프로그래밍 패러다임입니다. 반면, 명령적(절차적) 프로그래밍은..
[LLM/RAG] Retrieval-Augmented Generation for Large Language Models : A Survey 논문 읽기(진행중)
·
LLM
🍀 이 글은 작성중입니다. 필요한 부분부터 읽고 있습니다 ㅎㅎ.. 🍀   논문 제목 : Retrieval-Augmented Generation for Large Language Models : A Survey 논문 발표 일자 : 2024/03/27   Ⅰ. Abstract  LLM은 탁월한 성능을 보여줬지만 hallucination, outdated knowledge, 불투명하고 추적할 수 없는 추론 과정과 같은 문제를 마주했습니다. 이런 문제를 해결하기 위해 외부 데이터베이스의 지식을 통합하는 방식인  Regrieval-Augmented Generation (RAG) 기술이 급부상하고 있습니다. 이를 통해 LLM이 생성하는 결과물의 정확성과 신뢰도가 향상되었으며, 특히 지식 집약적 task에서 그 ..
MTEB 한국어 데이터셋
·
LLM
MTEB는 Massively Multilingual and Multitask Benchmark의 약자로, 다국어 환경에서 문장 임베딩이 얼마나 효과적으로 이루어지는지 종합적으로 평가할 수 있는 벤치마크를 제공합니다. 🔎 참고) NLP 작업에서 문장 임베딩의 평가가 중요한 이유는 문장 임베딩이 텍스트의 의미를 수치 벡터로 압축해 표현하기 때문입니다. 이러한 벡터 표현은 다양한 자연어 처리(NLP) 작업의 핵심으로 사용되며, 문장 간 유사도 측정, 분류, 검색 등 여러 과제에 활용됩니다.  1. MTEB 데이터셋이 생겨난 이유 다양한 task에서의 성능 평가기존에는 한 가지 유형의 task(예: classification, semantic textaul similarity 등)에 대해 모델의 성능을 평가해..
[python] API Key 환경변수로 설정하고 관리하기 (dotenv)
·
LLM
1. 장점보안성 강화: 중요한 정보(예: API 키, 비밀번호 등)를 코드에 직접 하드코딩하지 않고 .env 파일에 저장하여, 코드와 분리해 보안 위험을 줄일 수 있습니다. 이를 통해 민감한 정보가 원격 저장소에 노출되지 않도록 방지할 수 있습니다.코드와 설정의 분리: 환경 변수로 설정을 관리하므로 코드와 환경별 설정을 분리할 수 있습니다. 개발, 테스트, 프로덕션 환경에서 각각 다른 .env 파일을 사용해 유연한 설정이 가능하며, 코드 변경 없이 환경에 맞는 설정을 쉽게 적용할 수 있습니다.유연성과 편리함: 환경 변수 관리가 매우 직관적이고 사용하기 쉬우며, 다양한 환경(로컬, 테스트, 프로덕션)에서 동일한 코드를 유연하게 사용할 수 있습니다.   2. 환경 변수 설정하기1) python-dotenv ..
내일은분석왕
'LLM' 카테고리의 글 목록 (9 Page)