Day to_day

❗가짜연구소에서 ‘깃허브에 nlp 잔디심기’ 팀에서 발표한 자료를 함께 공유해보려 한다.이번에 소개할 주제는 LLM의 self-correction이다. LLM의 Self-Correction은 모델이 스스로 오류를 인식하고 수정하는 과정으로 응답의 품질을 향상하는데 목적이 있다. 해당 포스팅은 Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies라는 LLM의 self-correction 기법들에 대한 서베이 논문을 기반으로 정리한 글이다. 그렇기 때문에 깊은 방법론에 대한 글이 아닌 다양한 종류의 self-correction 기법에 대해서 소개한다. LLM의 주요 ..

하루에 수없이도 많은 AI관련 논문들 중에 RAG의 한계를 극복한 새롭게 제안하는 CAG라는 기법이 나왔다고 하길래 빠르고 가볍게 리뷰를 진행해볼까 한다.  논문에서 해결하고자 하는 문제 정의RAG는 외부 데이터를 동적으로 검색하고, 할루시네이션을 감소시킬 수 있는 방법으로 개방형 질문 응답(Open-Domain Question Answering)과 같은 지식 집약적 작업에서 좋은 성능을 발휘하였다. 하지만 RAG는 실시간 검색으로 인한 검색 지연, 문서 선택에서의 부정확하거나 관련 없는 문서를 선택하면서 오는 품질 저하, 시스템 복잡성 증가 등과 같은 문제가 있다.  제안 방법 이 논문에서 제안하는 방법은 1) LLM의 확장된 컨텍스트 윈도우를 활용하여 외부 데이터를 사전에 로드하고, 2) 키-값(Ke..

Introduction 이 논문은 LLM을 사용할 때 입력 프롬프트로 시스템 메시지나 프롬프트 템플릿 등과 같은 겹치는 텍스트 세그먼트가 존재하고, 이것을 재사용 가능하지 않을까? 하는 생각에서 시작한다. 그래서 자주 사용되는 프롬프트 구간의 attention state를 미리 계산하고 저장 → 이 구간이 프롬프트에 등장했을 때 이를 재사용하여 latency를 줄이자! 그러면 일단 기본적인 개념들에 대해서 간단하게 짚고 넘어가보기로 하자.  Autoregressive ModelLLM 모델은 autoregressive 모델로, autoregressive 모델의 뜻은 자기 회귀 모델로써 이전 시점의 출력을 다음 시점의 입력으로 사용하여 순차적으로 텍스트를 생성하는 것이다. 그래서 위의 예시를 보면 이전 시점..

이 논문의 핵심! 이 논문에서 해결하고자 하는 문제는 LLM 기반 채팅 어시스턴트를 평가할 때 기존 벤치마크가 이들의 광범위한 기능과 인간의 선호도를 충분히 반영하지 못한다는 것이다. 그래서 두 가지 벤치 마크를 도입한 것과 LLM을 평가자로 사용하는 방법을 제안한다.또한 LLM-as-a-judge(LLM을 평가자로 사용)의 사용과 한계를 실험을 통해 보여주며, 한계를 완화하기 위한 해결 방안도 제안한다.그 결과 GPT-4와 같은 강력한 LLM 평가자가 통제된 환경과 크라우드소싱된 인간 선호도 모두에서 80% 이상의 일치율을 달성하여 인간 간의 일치율과 동일한 수준을 달성할 수 있었고, 이는 인간 평가자를 통해 소요되는 높은 비용을 대체 가능할 수 있음을 시사했다. IntroLLM 기반의 chatbot이..

들어가며RAG를 사용해야 하는 이유RAG의 패러다임 (RAG 변천사)Naive RAG의 구조langchain과 llamaIndex를 활용한 chromaDB로 Naive RAG 구현하기 What is RAG(Retrieval-Augmented Generation)?전통적인 LLM들은 특정 시점의 데이터로만 훈련되어 훈련 이후의 정보는 반영하지 못한다. 특히 최신 정보를 답변하지 못하거나 hallucination 문제로 인해 구글, OpenAI, Facebook 등 여러 연구 기관과 기업들이 검색 증강 생성(Retrieval-Augmented Generation, RAG) 구조를 도입하게 되었다. 이에 따라 다른 여러 기업에서도 특히 환각 현상을 해결하기 위해 RAG에 대한 주목이 커지기 시작했다.LLM만 ..

글또 10기를 마지막으로 글또가 종료된다고 하는 소식을 듣고 모집을 시작하기 전까지 얼마나 자주 글또 노션페이지를 드나들며 기다렸는지 모르겠다. 글또를 운영하시는 변성윤님의 마인드가 있는데, “끝을 정해두기에 그만큼 미련 없이 최선을 다해 할 수 있다”라고 생각하신다. 나는 그 말을 들었을 때 굉장한 자극이 됐었다. 특히 최선을 다해서 할 수 있는 동력을 주는 것에 공감했다.물론 글또가 계속 있으면 하는 마음도 있지만 참여하는 나 역시 끝이 있는 글또이기에 후회가 남지 않는 이번 기수가 되길 바란다. 작년 초에 글또 8기에 참여했다가 일을 시작하면서 9기는 건너뛰고 10기에 다시 참가했다. 이전 글또 8기 다짐글 & 회고글글또 8기를 시작하기 전에..글또 8기를 마무리하며.. 8기에 참여했을 땐 취준생이..