목록Machine Learning/지도 학습 (8)

Day to_day

[지도 학습] 규제 선형 회귀 L1, L2 norm (Ridge, Lasso, ElasticNet)

포스팅 개요 규제선형회귀란 무엇이고, 먼저 알고 넘어가야 할 개념인 L1 norm과 L2 norm을 살펴보겠다. 그리고 규제선형회귀인 릿지 회귀, 라쏘 회귀 그리고 ElasticNet에 대해서 알아보는 포스팅이다. 규제 선형 회귀 이전엔 오차만 줄어들면 장땡이었는데, 이젠 오버피팅 문제 때문에 회귀 모델이 적절하게 적합하면서 회귀계수가 너무 커지는 것을 제어해야 한다. 그래서 규제 선형회귀는 이것을 목적으로 한다. 이전엔 Loss값인 RSS만 최소화하였는데 규제 선형회귀에서의 목표는 다음과 같다. 이때 alpha의 역할은 이 중요하다. alpha가 0에 가까우면 이전 식(Min(RSS(W))과 같아진다. 또 alpha가 너무 커지면 W값이 작아지는 목표를 갖고 비용함수가 만들어져야한다. 즉 alpha 값..
Machine Learning/지도 학습 2023. 6. 16. 17:17
[지도 학습] 회귀 분석의 목적과 종류

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 회귀 분석의 개념과 목적에 대해서 개요 정도로 설명하고 구체적인 내용은 다음 포스팅에 담아보겠다. 회귀 분석의 목적 회귀 분석은 독립변수와 종속변수 간의 함수 관계를 규명하는 통계적 방법이다. 머신러닝 회귀 예측의 핵심은 주어진 피처와 결정 값 데이터를 기반으로 학습을 통해 최적의 회귀 계수를 찾아내는 것이다. 만약 아파트 가격을 예측하려고 하는 회귀 분석을 하려고 한다면 ‘아파트 가격’이라는 종속변수에 영향을 주는 여러 가지 요소들이 있을 것이다. 예를 들면, 방의 개수, 아파트 크기, 주변 편의시설 등.. 그러한 ..
Machine Learning/지도 학습 2023. 5. 7. 20:43
[지도 학습] 로지스틱 회귀 (Logistic Regression)

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 분류 모델을 쭉 살펴보며 이름은 회귀가 들어가지만 분류 기법에 해당하는 '로지스틱 회귀'를 정리하려고 한다. 로지스틱 회귀란 무엇이고, 어떻게 사용할 수 있는지에 대해 가볍게 알아가고 넘어가겠다. 로지스틱 회귀 Logistic Regression 로지스틱 회귀는 선형 회귀 방식을 분류에 적용한 알고리즘이다. Linear regression은 주어진 feature에 따라 예측 결괏값이 연속적이었다. 하지만 Logistic Regression은 타깃값이 연속적인 것이 아닌, 범주형이면서 0 또는 1인 경우 사용한다. 로지..
Machine Learning/지도 학습 2023. 4. 22. 20:55
[지도 학습] 스태킹 모델에 대해서 자세히 알아보기! (구현 코드)

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 앙상블 모델인 stacking 모델의 동작 과정에 대해 알아보고, 예제 코드와 stacking 모델의 장단점까지 알아보려고 한다. 아마 앙상블 모델의 마지막 포스팅이 될 듯하다. 스태킹 모델 Stacking model 앙상블처럼 개별 모델을 조합해서 메타 모델이 최종 예측을 하는 방법이다. 배깅, 부스팅과 가장 큰 차이점은 개별 알고리즘으로 예측한 데이터를 기반으로 다시 예측을 수행한다는 것이다. 핵심은 여러 개별 모델의 예측 데이터를 각각 스태킹 형태로 결합해 최종 메타 모델의 학습용 feature dataset과 ..
Machine Learning/지도 학습 2023. 3. 20. 15:37
[지도 학습] LightGBM 개념과 예제 코드~!

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 GBM 기반의 LightGBM에 대해서 간단하게 개념을 정리하고, 하이퍼 파라미터, 예제 코드 순서로 알아보기로 한다. LightGBM LightGBM은 GBM(Gradient Boosting Machine) 기반 알고리즘이다. GBM은 예측에 실패한 부분에 가중치를 더하면서 오차를 보완하는 식으로 순차적으로 트리를 만드는 것이다. LightGBM은 다른 트리기반 알고리즘과 다르게 수직적으로 확장한다. 그것을 리프 중심 트리 분할이라고 하는데 자세한 내용은 그림을 보면서 살펴보자. LightGBM 분할 방식 일반적인 ..
Machine Learning/지도 학습 2023. 3. 17. 01:19
[지도 학습] 여러가지 부스팅 알고리즘 알아보기 (GBM, Adaboost, XGBoost)

❗본 포스팅은 권철민 선생님의 '파이썬 머신러닝 완벽가이드' 강의와 '파이썬 라이브러리를 활용한 머신러닝' 서적을 기반으로 개인적인 정리 목적 하에 재구성하여 작성된 글입니다. 포스팅 개요 앙상블 기법의 한 종류인 부스팅에 대해서 알아보고, 부스팅 기반 모델 종류를 살펴보기로 한다. GBM, AdaBoost, XGBoost의 실습 코드도 함께 작성해 보며 개념을 정리하자. Boosting 부스팅 부스팅 알고리즘은 여러 개의 약한 학습기를 순차적으로 학습/예측 하면서 잘못 예측한 데이터나 학습 트리에 가중치를 부여해 오류를 개선해 나가면서 학습하는 방식이다. 병렬적으로 처리해 평균을 내는 배깅과 달리 순차적으로 모델을 실행한다는 것이 다른 점이다. 부스팅은 대표적으로 AdaBoost와 그래디언트 부스트(G..
Machine Learning/지도 학습 2023. 3. 15. 21:52
이전 Prev 1 2 Next 다음