Day to_day

사실 솔직한 심정으로 이 책을 별로 읽고 싶진 않았다 ㅋㅋㅋㅋㅋ 자기 계발 책을 많이 읽다 보면 '결국 하는 얘기는 다 똑같구나'하는 지점이 오기 때문에 자기 계발서 말고 다른 분야의 책을 좀 읽어보고 싶었다. 그리고 또 베스트셀러에 오래 있다 보니까 익숙해져서인지 꼭 읽진 않았지만 읽는 것 같은 기분이 들었다. ​ 그럼에도 읽게 된 계기는 우연히 유튜브를 보다가 저자 '자청'님의 인터뷰를 보게 되었고, 이건 이론만 늘어놓는 책이 아니라 자청님의 삶에서 이미 증명된 내용을 담은 책 같았다. 그리고 내가 이 시기에 삶에 대한 무엇에 대한 열정이나 욕망이 사라진 상태라 조금 끌어올려 줄 무언가가 필요했다. ​ 결과적으로는 생각해 보지 못한 새로운 삶의 방향에 대해 깨닫게 된 책인 것 같고, 두루뭉술한 목표 ..

저자 박용철의 '감정은 습관이다' 책을 읽고 나에게 필요한 것들을 기록해보려한다. 일단 내가 스스로 나를 봤을 때 감정 컨트롤이 힘들다고 느끼는 사람이다. 어떤 이유인지는 모르겠지만 복잡한 생각들로 인한 감정이 머무를 때가 있다. 누구나 하루를 보내며 좋지 않은 일이 있었을 수도 있고, 뭔가가 기분 나빴지만 그 기분이 계속 유지가 되는 경험도 있었을 것이다. 나에게 그런 상황이 오면 나는 원인을 알아야 하는 편이다. 감정은 어떤 일이나 생각으로 인한 '현상'이라고 생각하기 때문에 난 그 원인을 잡아서 해결 방법을 세워 그 감정을 극복해 내야 풀린다. ​ 내가 항상 해법을 갈구하는 '감정'이란 것에 대해 알 수 있기에 이 책을 골랐다. 책의 전반적인 내용에 대해 쭉 적기보다는 날 위한 리뷰이기 때문에 내게..

들어가며 ViT모델 다음 DeiT가 나왔고 그 이후에 Swin Transformer가 나왔는데, 더 흥미로운 논문 먼저 읽다 보니 DeiT를 놓칠뻔했다! ViT모델과는 어떤 점이 다른지, ViT의 한계를 DeiT는 어떤 방법으로 극복했는지를 중심으로 논문리뷰를 남기려고한다. 미리 알고 있어야 할 개념 이전 포스팅으로 한번 정리했듯이 Knowledge Distillation, KL divergence, Cross Entropy에 대한 개념을 한번 정리하고 이 논문을 보면 더 쉽게 이해할 수 있을 것이다. Cross Entropy 개념 / KL divergence 정리 Cross Entropy 개념 / KL divergence 정리 (추가) 포스팅 개요 그동안 크로스 엔트로피에 대해서 자주 들었지만 내가 설..

첫 구직활동의 후기를 기록해 두고 혹시나 나의 경험이 도움이 되는 사람이 있을까 하고 남겨두려고 한다. 일단 나의 상황을 설명하자면 인턴 계약이 끝나고 한 달 정도의 집 계약이 남은 상태였다. 나는 타 지역에서 서울에 올라왔기 때문에 남은 한 달 동안 열심히 구직활동을 해서 일단 취업을 하자는 목표가 컸다. 왜냐면.. 서울에서 생활을 유지해야 했기 때문이다. 특히 타 지역에서 서울로 면접 한번 보기 위해서는 그 하루의 차비, 식비를 계산하면 한 달에 면접 5번만 봐도 서울에서 생활하는 게 더 유리했다. 아무튼 완벽하게 준비된 건 없었다. 이력서를 부랴부랴 완성시키고, 포트폴리오 PPT는 없었다. (마음 급하게 구직을 했는데 이런 상태에서는 지혜로운 선택을 할 수 없어서 사실 추천하진 않음) 하지만 일단은..

들어가며 cross entropy의 개념에 대해 이미 알고 있고, DeiT 논문을 읽기 시작하면서 Knowledge Distillation의 개념에 대해 들어는 봤지만 정확하게 정리가 되지 않은 상태였다. 그래서 이번 기회에 Knowledge Distillation의 개념과 특징에 대해 정리하고자 한다. Knowledge Distillation (증류) 딥러닝에서 distillation 증류?라고 생각할 수 있다. 이 단어의 뜻을 찾아보고선 나도 똑같은 반응이었으니깐. 큰 모델(Teacher Network)로부터 증류한 지식을 작은 모델(Student Network)로 transfer 하는 방법이라고 할 수 있다. 핵심은 큰 모델이 학습한 일반화된 능력을 작은 모델에 전달해주는 것을 말한다. Soft L..

포스팅 개요 Vision Transformer에 이어서 마이크로소프트에서 발표된 Swin Transformer에 대해서 리뷰를 하려고 한다. 이 모델은 이름에서 볼 수 있듯이 Transformer 기반 모델이고 ViT의 한계점을 보완하여 더 발전된 형태로 이미지 task에 general하게 좋은 성능을 내는 모델이라고 한다. Swin Transformer에서 주목해야 할 점! 1. ViT에서 모든 patch에 self-attention의 computation cost를 지적하며, Swin Transformer에서는 window로 나누어 해당 window 안에서만 self-attention을 수행하고, 그 window를 한번 shift 하고 다시 self-attention을 하는 모델이다. 2. CNN 기..