Day to_day

들어가며 1x1 convolution의 역할에 대해 이해해 보고, 그 특징을 정리하고자 한다. 직관적으로 1x1 Convolution 이해해보기 1x1 Convolution은 직관적으로 1x1 크기를 가지는 Convolution Filter를 사용한 Convolution Layer이다. 1x1 convolution은 입력되는 feature map의 채널 수에 맞춰 생성된다. 위의 그림과 같이, 하나의 feature는 같은 weight를 공유하니까 결국 하나의 feature에 하나의 weight를 모두 곱하는 것이라고 보면 된다. 그것을 식으로 표현하면 F1 * weight_1 + F2 * weight_2 + F3 * weight_3로 둘 수 있고, 결국엔 weighted sum으로 표현 가능 한 것이다...

들어가며 Pooling layer의 한 종류인 Global Average Pooling(GAP)에 대해서 알고는 있었지만 더욱 정확하게 알고, 그 특징과 GAP가 나오게 된 배경에 대해서 정리하고자 이번 포스팅을 작성하게 되었다. Global Average Pooling은 무엇인가? 간단하게 말해서 Convolution layer를 거치고 마지막에 나오는 feature map에서 각 채널마다 전체 평균을 구해서 1x1 사이즈의 채널 수는 유지된 채로 그림과 같이 계산된다. 단순히 입력 사이즈에 상관없이 냅다 평균을 내서 계산을 해버리는 것! 그러면 간단하게 GAP의 동작은 알겠는데 이것이 나오게 된 배경은 어떻게 될까? GAP의 배경 결론부터 말하면 기존의 Fully Connected Layer의 단점을..

Intro ​ 내가 책을 읽는 방법은, 책을 읽으면서 고민해 볼 만한 부분이 있으면 그 구절과 떠오른 내 생각을 적어둔다. 그리고 내가 이 책으로부터 얻은 것을 가지고 나의 행동에 변화를 이끌기도, 기존에 있던 나의 경험을 녹이기도 하며 내 사고를 넓힌다. ​ 이번 "빠르게 실패하기"라는 책은 내가 새로운 일을 어떻게 받아 들여야 하는지에 관한 마인드 셋과 우리가 빠르게 실행에 옮기지 않는 이유에 대해 고민하게 한 책이다. 일단 오늘도 내 마음대로 책 리뷰를 해보며 정리해 보겠다 Chapter 1 Try things like a beginner ​ '미숙함'이라는 것에 주눅 들고, 빠르게 성장하지 못함에 자책할 때가 많다. 하지만 이러한 사고는 나를 더욱 주춤거리게 만들고 완벽을 계속 추구하게 된다. 그..

사실 솔직한 심정으로 이 책을 별로 읽고 싶진 않았다 ㅋㅋㅋㅋㅋ 자기 계발 책을 많이 읽다 보면 '결국 하는 얘기는 다 똑같구나'하는 지점이 오기 때문에 자기 계발서 말고 다른 분야의 책을 좀 읽어보고 싶었다. 그리고 또 베스트셀러에 오래 있다 보니까 익숙해져서인지 꼭 읽진 않았지만 읽는 것 같은 기분이 들었다. ​ 그럼에도 읽게 된 계기는 우연히 유튜브를 보다가 저자 '자청'님의 인터뷰를 보게 되었고, 이건 이론만 늘어놓는 책이 아니라 자청님의 삶에서 이미 증명된 내용을 담은 책 같았다. 그리고 내가 이 시기에 삶에 대한 무엇에 대한 열정이나 욕망이 사라진 상태라 조금 끌어올려 줄 무언가가 필요했다. ​ 결과적으로는 생각해 보지 못한 새로운 삶의 방향에 대해 깨닫게 된 책인 것 같고, 두루뭉술한 목표 ..

저자 박용철의 '감정은 습관이다' 책을 읽고 나에게 필요한 것들을 기록해보려한다. 일단 내가 스스로 나를 봤을 때 감정 컨트롤이 힘들다고 느끼는 사람이다. 어떤 이유인지는 모르겠지만 복잡한 생각들로 인한 감정이 머무를 때가 있다. 누구나 하루를 보내며 좋지 않은 일이 있었을 수도 있고, 뭔가가 기분 나빴지만 그 기분이 계속 유지가 되는 경험도 있었을 것이다. 나에게 그런 상황이 오면 나는 원인을 알아야 하는 편이다. 감정은 어떤 일이나 생각으로 인한 '현상'이라고 생각하기 때문에 난 그 원인을 잡아서 해결 방법을 세워 그 감정을 극복해 내야 풀린다. ​ 내가 항상 해법을 갈구하는 '감정'이란 것에 대해 알 수 있기에 이 책을 골랐다. 책의 전반적인 내용에 대해 쭉 적기보다는 날 위한 리뷰이기 때문에 내게..

들어가며 ViT모델 다음 DeiT가 나왔고 그 이후에 Swin Transformer가 나왔는데, 더 흥미로운 논문 먼저 읽다 보니 DeiT를 놓칠뻔했다! ViT모델과는 어떤 점이 다른지, ViT의 한계를 DeiT는 어떤 방법으로 극복했는지를 중심으로 논문리뷰를 남기려고한다. 미리 알고 있어야 할 개념 이전 포스팅으로 한번 정리했듯이 Knowledge Distillation, KL divergence, Cross Entropy에 대한 개념을 한번 정리하고 이 논문을 보면 더 쉽게 이해할 수 있을 것이다. Cross Entropy 개념 / KL divergence 정리 Cross Entropy 개념 / KL divergence 정리 (추가) 포스팅 개요 그동안 크로스 엔트로피에 대해서 자주 들었지만 내가 설..