Day to_day

하루에 수없이도 많은 AI관련 논문들 중에 RAG의 한계를 극복한 새롭게 제안하는 CAG라는 기법이 나왔다고 하길래 빠르고 가볍게 리뷰를 진행해볼까 한다.  논문에서 해결하고자 하는 문제 정의RAG는 외부 데이터를 동적으로 검색하고, 할루시네이션을 감소시킬 수 있는 방법으로 개방형 질문 응답(Open-Domain Question Answering)과 같은 지식 집약적 작업에서 좋은 성능을 발휘하였다. 하지만 RAG는 실시간 검색으로 인한 검색 지연, 문서 선택에서의 부정확하거나 관련 없는 문서를 선택하면서 오는 품질 저하, 시스템 복잡성 증가 등과 같은 문제가 있다.  제안 방법 이 논문에서 제안하는 방법은 1) LLM의 확장된 컨텍스트 윈도우를 활용하여 외부 데이터를 사전에 로드하고, 2) 키-값(Ke..

Introduction 이 논문은 LLM을 사용할 때 입력 프롬프트로 시스템 메시지나 프롬프트 템플릿 등과 같은 겹치는 텍스트 세그먼트가 존재하고, 이것을 재사용 가능하지 않을까? 하는 생각에서 시작한다. 그래서 자주 사용되는 프롬프트 구간의 attention state를 미리 계산하고 저장 → 이 구간이 프롬프트에 등장했을 때 이를 재사용하여 latency를 줄이자! 그러면 일단 기본적인 개념들에 대해서 간단하게 짚고 넘어가보기로 하자.  Autoregressive ModelLLM 모델은 autoregressive 모델로, autoregressive 모델의 뜻은 자기 회귀 모델로써 이전 시점의 출력을 다음 시점의 입력으로 사용하여 순차적으로 텍스트를 생성하는 것이다. 그래서 위의 예시를 보면 이전 시점..