목록2024/08/09 (1)

Day to_day

LoRA(Low-Rank Adaptation)를 파악해보자아앗!!

LoRA(Low-Rank Adaptation)LoRA(Low-Rank Adaptation)는 Large Language Model(LLM)이나 신경망을 효율적으로 미세 조정(Fine-tuning) 하기 위한 방법 중 하나이다.LoRA를 한 줄로 요약하면, Pre-trained 모델 가중치를 동결시키고 Transformer 아키텍처의 각 층에 학습 가능한 rank decomposition matrices을 넣는 방법이다.We propose Low-Rank Adaptation, or LoRA, which freezes the pretrained model weights and injects trainable rank decomposition matrices into each layer of the Trans..
논문 리뷰 2024. 8. 9. 00:27
이전 Prev 1 Next 다음