목록Machine Learning (16)

Day to_day

[지도 학습] 규제 선형 회귀 L1, L2 norm (Ridge, Lasso, ElasticNet)

포스팅 개요 규제선형회귀란 무엇이고, 먼저 알고 넘어가야 할 개념인 L1 norm과 L2 norm을 살펴보겠다. 그리고 규제선형회귀인 릿지 회귀, 라쏘 회귀 그리고 ElasticNet에 대해서 알아보는 포스팅이다. 규제 선형 회귀 이전엔 오차만 줄어들면 장땡이었는데, 이젠 오버피팅 문제 때문에 회귀 모델이 적절하게 적합하면서 회귀계수가 너무 커지는 것을 제어해야 한다. 그래서 규제 선형회귀는 이것을 목적으로 한다. 이전엔 Loss값인 RSS만 최소화하였는데 규제 선형회귀에서의 목표는 다음과 같다. 이때 alpha의 역할은 이 중요하다. alpha가 0에 가까우면 이전 식(Min(RSS(W))과 같아진다. 또 alpha가 너무 커지면 W값이 작아지는 목표를 갖고 비용함수가 만들어져야한다. 즉 alpha 값..
Machine Learning/지도 학습 2023. 6. 16. 17:17
[지도 학습] 회귀 분석의 목적과 종류

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 회귀 분석의 개념과 목적에 대해서 개요 정도로 설명하고 구체적인 내용은 다음 포스팅에 담아보겠다. 회귀 분석의 목적 회귀 분석은 독립변수와 종속변수 간의 함수 관계를 규명하는 통계적 방법이다. 머신러닝 회귀 예측의 핵심은 주어진 피처와 결정 값 데이터를 기반으로 학습을 통해 최적의 회귀 계수를 찾아내는 것이다. 만약 아파트 가격을 예측하려고 하는 회귀 분석을 하려고 한다면 ‘아파트 가격’이라는 종속변수에 영향을 주는 여러 가지 요소들이 있을 것이다. 예를 들면, 방의 개수, 아파트 크기, 주변 편의시설 등.. 그러한 ..
Machine Learning/지도 학습 2023. 5. 7. 20:43
[지도 학습] 로지스틱 회귀 (Logistic Regression)

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 분류 모델을 쭉 살펴보며 이름은 회귀가 들어가지만 분류 기법에 해당하는 '로지스틱 회귀'를 정리하려고 한다. 로지스틱 회귀란 무엇이고, 어떻게 사용할 수 있는지에 대해 가볍게 알아가고 넘어가겠다. 로지스틱 회귀 Logistic Regression 로지스틱 회귀는 선형 회귀 방식을 분류에 적용한 알고리즘이다. Linear regression은 주어진 feature에 따라 예측 결괏값이 연속적이었다. 하지만 Logistic Regression은 타깃값이 연속적인 것이 아닌, 범주형이면서 0 또는 1인 경우 사용한다. 로지..
Machine Learning/지도 학습 2023. 4. 22. 20:55
[데이터 전처리] 데이터 인코딩의 종류와 활용 방법~!

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 저번 포스팅에 이어서 데이터 인코딩에 대해서 적어보고 데이터 인코딩의 종류인 라벨 인코딩과 원-핫 인코딩에 대해서 자세히 알아보려고 한다. 데이터 인코딩의 목적 sci-kit learn의 ML은 문자열 값을 입력값으로 허용하지 않는다. 그렇기 때문에 모든 문자열 값은 인코딩을 해서 숫자형으로 변환해야 한다. 데이터의 표현 - 범주형 특성 범주형 데이터라는 것은 카테고리처럼 연속된 값이 아니고 값에 대소가 있지 않고, 중간값이 있는 게 아닌 데이터이다. 예를 들어 책, 옷, 하드웨어 이런 것은 책과 옷 사이에는 중간 값..
Machine Learning/머신러닝 기초 2023. 3. 31. 17:17
[데이터 전처리] Feature Engineering의 종류와 구현하기! (이상치제거, 결측치 처리, log 변환)

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 Feature Engineering이란 무엇인지, 그리고 어떤 기법들이 있는지에 대해서 살펴보고 이번 포스팅에서는 Feature Engineering 중에서 이상치 제거, 결측치 처리, log 변환에 대해서 알아보고, 실습코드를 구현해 보겠다. Feature Engineering이란? Feature Engineering은 모델 정확도를 높이기 위해서 주어진 데이터를 예측 모델의 문제를 잘 표현할 수 있는 features로 변형시키는 과정이다. Feature Engineering의 종류 여러 가지가 존재하지만 그중에 내..
Machine Learning/머신러닝 기초 2023. 3. 22. 22:32
[지도 학습] 스태킹 모델에 대해서 자세히 알아보기! (구현 코드)

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 앙상블 모델인 stacking 모델의 동작 과정에 대해 알아보고, 예제 코드와 stacking 모델의 장단점까지 알아보려고 한다. 아마 앙상블 모델의 마지막 포스팅이 될 듯하다. 스태킹 모델 Stacking model 앙상블처럼 개별 모델을 조합해서 메타 모델이 최종 예측을 하는 방법이다. 배깅, 부스팅과 가장 큰 차이점은 개별 알고리즘으로 예측한 데이터를 기반으로 다시 예측을 수행한다는 것이다. 핵심은 여러 개별 모델의 예측 데이터를 각각 스태킹 형태로 결합해 최종 메타 모델의 학습용 feature dataset과 ..
Machine Learning/지도 학습 2023. 3. 20. 15:37
이전 Prev 1 2 3 Next 다음