[논문 리뷰] LLM Self-Correction

 

❗가짜연구소에서 ‘깃허브에 nlp 잔디심기’ 팀에서 발표한 자료를 함께 공유해보려 한다.

이번에 소개할 주제는 LLM의 self-correction이다. LLM의 Self-Correction은 모델이 스스로 오류를 인식하고 수정하는 과정으로 응답의 품질을 향상하는데 목적이 있다.

 

해당 포스팅은 Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies라는 LLM의 self-correction 기법들에 대한 서베이 논문을 기반으로 정리한 글이다. 그렇기 때문에 깊은 방법론에 대한 글이 아닌 다양한 종류의 self-correction 기법에 대해서 소개한다.

 

LLM의 주요 문제점

논문에서는 LLM의 주요 문제점이 4개로 정의된다.

• 할루시네이션
• 불충실한 추론: 논리적 일관성이 결여되어 이전의 추론 단계와 일치하지 않는 결론을 도출함
• 유해하거나 편향된 콘텐츠: 학습 데이터의 편향으로 인해 차별적이거나 유해한 콘텐츠를 생성함
• 잘못된 코드: 프로그래밍 코드를 생성할 때 문법적 또는 논리적 오류가 포함될 수 있음

 

LLM의 Self-Correction 개념적 프레임워크

Large Language Model에 4개의 문제가 있는 환자라고 할 때, 그 환자가 내놓는 output은 doctor 역할을 하는 Critic Model에게로 전달된다. Critic Model의 역할은 사람이 직접 할 수도 있고, 다른 언어 모델이 하기도 또는 외부 요소들에 의해 평가될 수 있다.

이후 doctor에게 받은 진단(Diagnosis)은 피드백이고 그 형태는 scalar value가 될 수도, 자연어로 전달될 수도 있다. Refine Model은 그 진단을 바탕으로 출력이나 언어 모델에 치료를 제공한다. 위의 프레임워크에서 correction의 방법을 분류한 것을 볼 수 있다.

 

Self-correction 접근법

self-correction의 접근법은 크게 3단계로 나누어서 분류해 볼 수 있다. LLM의 시기에 따라 아래와 같이 나누어진다.

1. 훈련 단계: 강화 학습(예: RLHF)을 활용하여 초기 훈련 과정에서 모델의 성능을 개선
2. 생성 단계: 텍스트 생성 중 실시간으로 피드백을 받아 출력을 동적으로 교정
3. 사후 교정(Post-Hoc): 생성된 출력 이후에 오류를 탐지하고 수정하기 위해 외부 도구나 평가 지표를 활용함

 

훈련 시 수정(Training-time Correction)

모델 훈련 과정에서 결함을 수정하는 이상적인 방법으로 피드백이 수집되면 이를 모델 매개변수를 최적화하는 데 직접 사용된다. 3가지의 전략으로 구분해 설명하고 있다. 각 전략은 서로 다른 형태의 피드백을 활용하여 훈련 중 모델 매개변수를 수정하는 방법이다.

• 세 가지 전략에 대해 표현한 파이프라인이다. 참고로 여기서 모델에 있는 불꽃 모양은 학습 가능한 파라미터라는 의미이고, 눈꽃 모양은 해당 모델의 파라미터는 변경하지 않고 그대로 사용된다는 의미이다.

 

(a) Direct Optimization with Human Feedback

• 인간 피드백을 통해 모델 출력을 직접 최적화하는 것으로 쉽게 말해 supervised learning으로 인간의 선호에 맞게 파인튜닝 하는 방법이다.
• 긍정적인 데이터(인간이 수정하거나 긍정적으로 평가한 데이터)만을 활용해 파인튜닝하면 모델이 부정적 속성이나 오류를 식별하고 수정하는 능력이 제한될 수 있기 때문에 Chain-of-Hindsight는 모델 출력값에 긍정적 및 부정적 피드백을 쌍으로 묶어 LLM을 파인튜닝하는 기법도 있다.

(b) Reward Modeling and RLHF

• 매번 인간이 피드백에 개입하면 리소스가 많이 소요되니 보상 모델(Reward Model)을 훈련시켜 매 모델 출력값에 대해 일관되고 실시간으로 피드백을 제공하게 하는 방법이다.
• 대표적인 예로 Reinforcement Learning from Human Feedback, RLHF 방법이 있다. human annotators가 다양한 LLM 출력값에 대한 선호도를 라벨링 하면, 이를 바탕으로 보상 모델이 인간 선호를 예측하도록 훈련되는 방식이다. 그리고 강화 학습 알고리즘(PPO)을 이용해 모델 최적화한다.
• 이는 LLM을 더 유용하고 덜 해로운 방향으로 교정하는 데 효과적이다.

(c) Self-Training

• 인간 피드백을 수집하는 것은 매우 많은 자원이 소모되기 때문에, 많은 연구에서 인간 개입을 최소화하기 위해 자동화된 피드백의 활용한다.
• 자동 피드백의 두 가지 유형이 있다. 각 피드백 유형에 대해 논문에 자세히 나와있지만 이 글에서는 내재적 피드백에 집중해서 설명하도록 하겠다.
  
  • c-1 ) 외재적 피드백 (extrinsic feedback): 외부 메트릭 또는 모델로부터 얻는 피드백
  • c-2) 내재적 피드백 (intrinsic feedback): 언어 모델 자체에서 얻는 피드백

 

c-1) 외부 메트릭 가이드 (External Metric Guidance)

• 외부 지표를 활용한 훈련은 훈련 목표와 추론 목표 간의 차이를 줄이는 다양한 방법을 제안한다.
• 강화 학습과 대조 학습이 주요 기법으로 활용되며, 사전 학습 단계에서 피드백을 통합하는 새로운 접근법도 제시된다.
요약
1. 외부 지표 기반 훈련
   • 외부 지표 피드백은 훈련 중 교정을 위해 사용되며, 대부분의 방법은 지표 신호가 이산적이므로 비미분 가능 훈련 기법을 사용함.
   • Minimum Risk Training(Shen et al., 2016):
     • 최대 로그 우도와 지표 점수를 손실 함수에 통합하여 모델을 최적화.
     • 훈련 중 지표 점수를 최적화할 수 있지만, BLEURT와 같은 지표의 강건성 부족 문제를 초래할 수 있음.
2. 대조 학습과 후보 재정렬
   • Liu와 Liu(2021):
     • 대조 학습 프레임워크를 활용하여 지표 점수로 후보를 재정렬.
     • 훈련 목표와 추론 목표 간의 격차를 줄임.
3. 강화 학습과 노출 편향 완화
   • Li et al.(2019): 딥 RL 알고리즘 활용.
   • Unanue et al.(2021): Gumbel Softmax를 사용하여 BERTScore 기반 보상을 구축하고 노출 편향을 줄임.
   • Wu et al.(2021): 대조 판별기와 PPO를 사용하여 인간 텍스트를 모방하며 그래디언트를 안정화.
4. 효율적인 강화 학습 알고리즘
   • Chang et al.(2023):
     • PPO보다 효율적인 RL 알고리즘인 RLGF를 제안.
     • 불완전하지만 합리적인 가이드 정책을 정책 경사 프레임워크에 통합하여 최적 전략을 학습.
5. 사전 학습 단계에서 피드백 활용
   • Korbak et al.(2023):
     • 사전 학습 단계에서 조건부 학습과 자동 분류기를 사용해 바람직하지 않은 콘텐츠를 태그.
     • 미세 조정 단계에서만 피드백을 사용하는 접근법과 차별화됨.