Day to_day

들어가며 Pooling layer의 한 종류인 Global Average Pooling(GAP)에 대해서 알고는 있었지만 더욱 정확하게 알고, 그 특징과 GAP가 나오게 된 배경에 대해서 정리하고자 이번 포스팅을 작성하게 되었다. Global Average Pooling은 무엇인가? 간단하게 말해서 Convolution layer를 거치고 마지막에 나오는 feature map에서 각 채널마다 전체 평균을 구해서 1x1 사이즈의 채널 수는 유지된 채로 그림과 같이 계산된다. 단순히 입력 사이즈에 상관없이 냅다 평균을 내서 계산을 해버리는 것! 그러면 간단하게 GAP의 동작은 알겠는데 이것이 나오게 된 배경은 어떻게 될까? GAP의 배경 결론부터 말하면 기존의 Fully Connected Layer의 단점을..

들어가며 cross entropy의 개념에 대해 이미 알고 있고, DeiT 논문을 읽기 시작하면서 Knowledge Distillation의 개념에 대해 들어는 봤지만 정확하게 정리가 되지 않은 상태였다. 그래서 이번 기회에 Knowledge Distillation의 개념과 특징에 대해 정리하고자 한다. Knowledge Distillation (증류) 딥러닝에서 distillation 증류?라고 생각할 수 있다. 이 단어의 뜻을 찾아보고선 나도 똑같은 반응이었으니깐. 큰 모델(Teacher Network)로부터 증류한 지식을 작은 모델(Student Network)로 transfer 하는 방법이라고 할 수 있다. 핵심은 큰 모델이 학습한 일반화된 능력을 작은 모델에 전달해주는 것을 말한다. Soft L..

포스팅 개요 그동안 크로스 엔트로피에 대해서 자주 들었지만 내가 설명하려면 정확하게 말이 잘 안 나왔었다. 이번 기회에 정확하게 정리하고 정보이론에서 정보란 무엇이며, 엔트로피는 어떻게 변화하게 되는지에 대한 설명과 딥러닝에서 loss function으로 쓰이는 Cross Entropy는 어떤 특성이 있는지에 대해서 정리하려고 한다. + 포스팅 추가 KL divergence를 추가로 정리하려고 하는데 cross entropy와 묶어서 설명하는 게 좋을 것 같아서 다시 수정해서 작성하였다. 들어가기 전에 크로스 엔트로피를 들어가기 앞서 3가지 개념에 대해서 배경 지식이 있어야 한다. 정보 (Information) 기댓값 (Expectation Value) 엔트로피 (Entropy) 1. 정보 (Inform..