Day to_day

포스팅 개요 그동안 크로스 엔트로피에 대해서 자주 들었지만 내가 설명하려면 정확하게 말이 잘 안 나왔었다. 이번 기회에 정확하게 정리하고 정보이론에서 정보란 무엇이며, 엔트로피는 어떻게 변화하게 되는지에 대한 설명과 딥러닝에서 loss function으로 쓰이는 Cross Entropy는 어떤 특성이 있는지에 대해서 정리하려고 한다. + 포스팅 추가 KL divergence를 추가로 정리하려고 하는데 cross entropy와 묶어서 설명하는 게 좋을 것 같아서 다시 수정해서 작성하였다. 들어가기 전에 크로스 엔트로피를 들어가기 앞서 3가지 개념에 대해서 배경 지식이 있어야 한다. 정보 (Information) 기댓값 (Expectation Value) 엔트로피 (Entropy) 1. 정보 (Inform..

포스팅 개요 NLP에서 뛰어난 성능을 보인 transformer 구조를 비전 분야에 적용한 Vision Transformer(ViT)에 대해 리뷰해보려고 한다. 사실 OCR 프로젝트를 하기 위해 TrOCR을 썼었는데 이때 처음 ViT에 대해서 알게 되었다. TrOCR의 인코더로 ViT가 이미지의 텍스트를 인지하는 역할을 했다. Hugging Face에서 pre-train model을 사용하여 fine-tunning을 진행했었는데 정확하게 모델의 구조와 디테일한 부분은 몰랐기 때문에 이 논문을 리뷰하면서 ViT를 구현하는 것까지 해보려고 한다. ViT에서 가장 주목할 포인트! ViT는 CNN에 대한 의존이 필요하지 않고, 이미지 패치들에 순수 트랜스포머가 사용되고 이미지 분류에 잘 작동한다. 많은 양의 학..

고등학생 때 공부를 하면서 내 수준이 어느 정돈 지를 판단하는 기준은 과목별 점수로 판단할 수 있었다. 사실 한 과목안에서도 내가 어려워하는 파트가 있고, 내가 잘 해내는 부분도 있다. 예를 들어 나는 수학문제를 풀 때 남들보다 문제를 보고 필요한 개념과 관련 식들을 빠르게 떠올리는 편이었다. 하지만 빠른 암산 능력이나 단순 사칙연산은 남들보다 빠르게 해내지 못했다. 그렇기 때문에 문제 푸는 시간이 더 오래 걸렸고 시간 내 못 푸는 문제들도 생겼다. 이렇게 학습자의 지식 수준에 대해서 추적하는 과정을 교육 AI 분야에서 시도하고 있다. 이번 글은 지식 추정에 관한 논문을 리뷰하면서 Knowledge Tracing의 개념, 딥러닝을 활용한 정오답률 예측 모델인 Deep Knowledge Tracing을 알..

글또(글 쓰는 또라이가 세상을 바꾼다)에 참여하면서 어느덧 벌써 마지막 글 제출이어서 글또에서 시작할 때 가졌던 목표들을 회고하며 끝맺음을 지어보려고 한다. 일단! 아래 글은 글또에서 얻어가고 싶은 목표들을 적어두었던 글이다.  글또 8기를 시작하기 전에..글 쓰는 또라이가 세상을 바꾼다. 글또 8기에 참가하게 되었다. 몇 년 전에 글을 쓰는 커뮤니티도 참여해봤었는데 자유 주제로 부담 없이 습관을 위한 글을 썼기 때문에 그리 어려움은 없었다.day-to-day.tistory.com 내 목표를 세 가지로 정리했었고, '꾸준함', '글의 퀄리티', '네트워킹'의 키워드로 회고를 해보려 한다. 과연 나는 원하는 목표를 성취했을지 봅시다~! 꾸준함꾸준함을 증명할 수 있는 것은 일단 12번의 글을 제출해야 하는데..

포스팅 개요 규제선형회귀란 무엇이고, 먼저 알고 넘어가야 할 개념인 L1 norm과 L2 norm을 살펴보겠다. 그리고 규제선형회귀인 릿지 회귀, 라쏘 회귀 그리고 ElasticNet에 대해서 알아보는 포스팅이다. 규제 선형 회귀 이전엔 오차만 줄어들면 장땡이었는데, 이젠 오버피팅 문제 때문에 회귀 모델이 적절하게 적합하면서 회귀계수가 너무 커지는 것을 제어해야 한다. 그래서 규제 선형회귀는 이것을 목적으로 한다. 이전엔 Loss값인 RSS만 최소화하였는데 규제 선형회귀에서의 목표는 다음과 같다. 이때 alpha의 역할은 이 중요하다. alpha가 0에 가까우면 이전 식(Min(RSS(W))과 같아진다. 또 alpha가 너무 커지면 W값이 작아지는 목표를 갖고 비용함수가 만들어져야한다. 즉 alpha 값..

포스팅 개요 이전 포스팅에서 카메라 캘리브레이션과 내부, 외부 파라미터에 대해서 알아보았다. 이번 포스팅에서는 앞서 구한 파라미터를 이용해서 3차원의 point cloud를 만드는 과정과 rgb 영상 좌표를 depth 영상 좌표로 변환, rgb 매핑하는 방법까지 정리하려고 한다. 일단 설명에 앞서 intel realsense D415 모델을 사용하여 데이터를 얻었다. 얻은 거리 정보를 가지고 point cloud 형태로 만들기 위해서는 2D인 depth map에서 3차원의 좌표로 변환하는 것이 이 과정의 핵심이다. 좌표계 변환 과정 첫 번째 이미지는 World 좌표계에서 2D 픽셀좌표계까지의 변환을 나타낸 것이다. 지금 우리가 구하려고 하는 depth map에서 depth point cloud를 구하는 ..