Day to_day

이 논문의 핵심! 이 논문에서 해결하고자 하는 문제는 LLM 기반 채팅 어시스턴트를 평가할 때 기존 벤치마크가 이들의 광범위한 기능과 인간의 선호도를 충분히 반영하지 못한다는 것이다. 그래서 두 가지 벤치 마크를 도입한 것과 LLM을 평가자로 사용하는 방법을 제안한다.또한 LLM-as-a-judge(LLM을 평가자로 사용)의 사용과 한계를 실험을 통해 보여주며, 한계를 완화하기 위한 해결 방안도 제안한다.그 결과 GPT-4와 같은 강력한 LLM 평가자가 통제된 환경과 크라우드소싱된 인간 선호도 모두에서 80% 이상의 일치율을 달성하여 인간 간의 일치율과 동일한 수준을 달성할 수 있었고, 이는 인간 평가자를 통해 소요되는 높은 비용을 대체 가능할 수 있음을 시사했다. IntroLLM 기반의 chatbot이..

들어가며RAG를 사용해야 하는 이유RAG의 패러다임 (RAG 변천사)Naive RAG의 구조langchain과 llamaIndex를 활용한 chromaDB로 Naive RAG 구현하기 What is RAG(Retrieval-Augmented Generation)?전통적인 LLM들은 특정 시점의 데이터로만 훈련되어 훈련 이후의 정보는 반영하지 못한다. 특히 최신 정보를 답변하지 못하거나 hallucination 문제로 인해 구글, OpenAI, Facebook 등 여러 연구 기관과 기업들이 검색 증강 생성(Retrieval-Augmented Generation, RAG) 구조를 도입하게 되었다. 이에 따라 다른 여러 기업에서도 특히 환각 현상을 해결하기 위해 RAG에 대한 주목이 커지기 시작했다.LLM만 ..