일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 강화학습
- 백엔드
- layer normalization
- 데이터 프로젝트
- 결정트리
- ifnull
- beautifulsoup
- 빠르게 실패하기
- SQL
- 지도학습
- DecisionTree
- LAG
- 평가 지표
- Normalization
- 정밀도
- 재현율
- Batch Normalization
- NVL
- 데이터 전처리
- 비지도학습
- five lines challenge
- recall
- CASE WHEN
- nvl2
- 오차 행렬
- 감정은 습관이다
- NULLIF
- 웹서비스 기획
- 데이터 분석
- sorted
Archives
- Today
- Total
목록Batch Normalization (1)
Day to_day
Batch Normalization, Layer Normalization 비교
들어가며 Batch Normalization은 익히 들어 잘 알고 있었지만 Layer Normalization과 비교해서 개념적으로 어떻게 다른지, 그리고 왜 사용하는지에 대해서 깊게 생각해 본 적이 없는 것 같다. 그래서 먼저 Normalization에 대해 알아보고, Batch Normalization과 Layer Normalization에 대해 알아볼 것이다. Normalization 입력 데이터의 분포를 조정하거나 표준화하여 학습의 성능을 향상시키는 기술이다. 예를 들어 정규화 방법 중 하나인 데이터 표준화(Standardization)는 데이터를 평균과 표준 편차를 이용하여 정규 분포를 만들 수 있다. 그것을 식으로 나타내보자. $$ \hat{x}^{(k)}= \frac {x^{(k)}-E[x^..
Deep Learning
2024. 3. 16. 17:03