[Python/ML] 선형 회귀 분석 - Linear Regression

선형 회귀 분석(Linear Regression)이란 무엇일까요?

• 회귀 분석은 독립 변수(x)가 종속 변수(y)에 어떤 영향을 미치는지 알아보고자 할 때 실시하는 분석방법입니다.
• 선형 회귀는 데이터가 분포되어 있는 공간에서 데이터를 가장 잘 표현하는 선을 하나 긋는다고 생각할 수 있습니다.
• 다른 모델들 보다 모델 성능이 상대적으로 낮기 때문에 앙상블에서 하나의 모델이나 스태킹의 최종 계층에 적용하는 식의 용도로 주로 쓰이며, 과적합이 이루어지기 쉬운 데이터에서만 종종 사용합니다.
• 독립 변수(x)의 개수에 따라 단순(1개), 다중(2개 이상) 모델이 있습니다.
• 종속 변수(y)의 개수에 따라 단변량(1개), 다변량(2개 이상) 모델이 있습니다.

선형 회귀 분석 수식

---

선형 회귀 분석의 비용 함수

• 최소 제곱법 : 실제 값과 회귀 모델이 예측한 값 사이의 잔차의 제곱의 합을 최소화하는 w(계수)를 구하는 것이 목적입니다.

선형 회귀의 비용 함수

---

선형 회귀 분석의 4가지 기본 가정

• 선형성
• 독립성 : 다중 공산성은 변수끼리 서로 영향을 주기 때문에 둘 중 하나 삭제하는 것이 좋습니다.
• 등분산성 : 표준화 스케일링으로 해결할 수 있습니다.
• 정규성

---

선형 회귀 분석 - Linear Regression

• 단순 선형 회귀 분석은 한 개의 종속 변수(y)와 한 개의 독립 변수(x)와의 선형 상관관계를 모델링하는 회귀 분석 기법입니다.

단순 선형 회귀 분석 수식

• 다중 선형 회귀 분석은 한 개의 종속 변수(y)와 두 개 이상의 독립 변수(x)와의 선형 상관관계를 모델링하는 회귀 분석 기법입니다.

다중 선형 회귀 분석 수식

---

Python을 통한 모델 적용

Linear Regression의 대표적인 파라미터

• fit_intercept (bool) : 회귀 수식에서 y절편을 포함할지의 유무

from sklearn.linear_model import LinearRegression

# LinearRegression 모델 선언 후 Fitting
lr = LinearRegression()
lr.fit(x_train, y_train)

# Fitting된 모델로 x_valid를 통해 예측을 진행
y_pred = lr.predict(x_valid)