load_datasetfrom datasets import load_datasetdataset = load_dataset() 특정 데이터셋을 로드(load) 하는 코드로, repo 내의 모든 데이터셋을 불러옵니다.이 때 어떤 데이터셋을 불러올 수 있을지 잘 모르겠다면, 아래의 함수를 참고하세요   get_dataset_config_namesfrom datasets import get_dataset_config_namesconfigs = get_dataset_config_names()print(configs) 특정 레포지토리에 어떤 데이터셋 구성(config)이 있는지 목록을 출력하는 코드입니다.

대형 언어 모델(LLM)을 효과적으로 평가하려면, 제대로 된 데이터셋이 정말 중요하다는 것을 작업하면서 실감했습니다. 특히 Hugging Face에 데이터셋을 업로드해 모델을 평가하는 과정에서, JSONL 파일의 형식과 MCQA 데이터셋 구조에서 실수할 수 있는 부분이 꽤 많았습니다. 이번 글에서는 직접 해보며 배운 노하우들을 정리해 보았습니다.  1. Hugging Face에 데이터셋 업로드: JSONL 파일 형식의 중요성Hugging Face는 여러 파일 형식을 지원하지만, JSONL 형식이 일반적이라는 점을 알게 되었습니다. 이 형식은 파일의 각 줄이 JSON 객체로 구성되어 있어 많은 데이터를 효율적으로 처리할 수 있습니다. 하지만 여기서 주의할 점은 key와 value를 반드시 쌍따옴표(")로 ..

이 글에서 다루는 내용은 다음과 같습니다.1. 평가 프로세스 구축  1. 평가 프로세스 구축 참고 : examples 폴더에는 eval building Jupyter 노트북이 포함되어 있어, 전체 과정을 이해하는 데 도움이 됩니다.  평가 프로세스 구축은 데이터셋을 구성하고, 해당 데이터셋으로 새로운 평가를 등록한 뒤 평가를 실행하는 것입니다. 이 글에서는 기본 제공되는 평가 템플릿을 사용한다고 가정하겠습니다. (그렇지 않다면 커스텀 평가를 만드는 예제를 참고하세요.) 1) 데이터셋 구성 샘플 데이터 구조 원하는 평가 방식을 결정한 후에는 샘플 데이터를 올바른 JSONL 형식으로 변환해야 합니다. (참고 : JSONL 파일은 각 줄마다 하나의 JSON 객체가 있는 JSON 파일입니다) 평가 데이터는 다음..

Large Language Model Agent in Financial Trading: A Survey Large Language Model Agent in Financial Trading: A SurveyTrading is a highly competitive task that requires a combination of strategy, knowledge, and psychological fortitude. With the recent success of large language models(LLMs), it is appealing to apply the emerging intell…ar5iv.labs.arxiv.org  A Multimodal Foundation Agent for Financia..