논문 읽는 방법

1. Loss 함수

1) Loss 함수에서 주의깊게 봐야 할 것

• Loss 함수의 입력값에 어떤 값이 들어가는지
  • 임베딩, 모델의 출력, 레이어 등
• Loss 수식에서 각 부분이 어떤 역할을 하는지
  • 분자 : 올바른 예측을 높이는 부분
  • 분모 : 잘못된 예측을 낮추는 부분
  • 로그 : 확률값을 안정화하거나 수치를 축소하기 위해 사용
  • 함수 : Loss가 어떤 메트릭(예: 유사도, 확률)을 기반으로 작동하는지
• Loss가 무엇을 측정하는지
  • 모델의 예측이 얼마나 실제와 다른지를 측정
• Loss를 최소/최대화했을 때 기대하는 결과가 무엇인지
  • 예측이 실제와 더 가까워짐
  • 특정 패턴을 더 잘 학습함
• 파라미터가 Loss에 어떻게 영향을 미치는가?
  • 각 파라미터를 어떻게 설정하는지, 데이터셋에 따라 조정이 필요한지