일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
Tags
- Normalization
- layer normalization
- ifnull
- 데이터 전처리
- 웹서비스 기획
- LAG
- 데이터 프로젝트
- 지도학습
- 데이터 분석
- nvl2
- 평가 지표
- 정밀도
- beautifulsoup
- 강화학습
- NULLIF
- CASE WHEN
- recall
- DecisionTree
- 감정은 습관이다
- sorted
- SQL
- five lines challenge
- 백엔드
- NVL
- 비지도학습
- 결정트리
- 빠르게 실패하기
- 재현율
- 오차 행렬
- Batch Normalization
Archives
- Today
- Total
목록2024/03/03 (1)
Day to_day
[논문 리뷰] CMT: Convolutional Neural Networks Meet Vision Transformers
들어가며 Vision Trasformer 이후 더 발전된 Vision 분야에서 Transformer를 활용한 모델을 리뷰하고 있다. 이번엔 어떤 식으로 Vision Transformer의 한계를 해결했는지 궁금해진다. 오늘 리뷰할 논문은 CNN과 Transformer를 결합한 하이브리드 모델을 살펴보고자 한다. CMT에서 알고 가야 할 점! CMT는 transformer base의 CNN을 결합한 hybrid network이다. Transformer의 장점인 멀리 떨어진 range 의존성에 대해서 포착하고, CNN의 local information 추출하는 것이 CMT의 강점이다. CNN과 비교한 비전 트랜스포머의 문제 CNN대비 트랜스포머 기반 비전 모델의 성능이 떨어지는 이유 이미지는 트랜스포머 기반..
논문 리뷰
2024. 3. 3. 16:07