Day to_day

들어가며 Batch Normalization은 익히 들어 잘 알고 있었지만 Layer Normalization과 비교해서 개념적으로 어떻게 다른지, 그리고 왜 사용하는지에 대해서 깊게 생각해 본 적이 없는 것 같다. 그래서 먼저 Normalization에 대해 알아보고, Batch Normalization과 Layer Normalization에 대해 알아볼 것이다. Normalization 입력 데이터의 분포를 조정하거나 표준화하여 학습의 성능을 향상시키는 기술이다. 예를 들어 정규화 방법 중 하나인 데이터 표준화(Standardization)는 데이터를 평균과 표준 편차를 이용하여 정규 분포를 만들 수 있다. 그것을 식으로 나타내보자. $$ \hat{x}^{(k)}= \frac {x^{(k)}-E[x^..