선형회귀 모형의 규제(Regularization) - 리지(Ridge), 라소(Lasso)
아래의 내용들은 [Introduction to Machine Learning with Python (O'Reilly)]를 참고하였습니다. 선형회귀 모형의 경우 컬럼이 너무 많아지면 Training Samples에 과대적합되어서(Large Variance) Test Set에서는 낮은 성능을 보이는 문제가 발생할 수 있다. 이를 규제(Regularization)이라고 한다. 1. Ridge Regression (L2) \( \lambda \) 값이 커질수록 Penalty가 커지고, 각각의 컬럼의 weight이 작아진다. 따라서 모든 컬럼이 동일한 가중치로 모델링에 반영되는 것이 아니라, 과대적합을 일으키는 컬럼들에는 weight를 매우 작게 줘서 덜 반영되게 한다. 단, 데이터가 많아질수록 선형회귀 모형 자..
