[회귀모형] 3강. 2개 이상의 변수를 사용하는 회귀분석

중회귀모형이란?

중회귀모형(Multiple Linear Regression Model)은
반응변수(종속변수)의 변화를 설명하기 위해 **2개 이상의 설명변수(독립변수)**를 사용하는 선형회귀모형입니다.

예를 들어, 상점의 총 판매액을 예측하려 할 때

• 인테리어비

• 상점 크기

두 개의 독립변수를 함께 고려하여 매출을 예측하는 것이 중회귀모형입니다.

중회귀모형 수식 표현

 

$$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \epsilon$$

• $Y$

  : 종속변수

• $X_1, X_2$

  : 독립변수

• $\beta_0, \beta_1, \beta_2$

   : 회귀계수

• $\epsilon$

   : 오차항

 

회귀계수의 추정 — 최소제곱법 (OLS)

최소제곱법(OLS)이란, 관찰값과 예측값의 차이(잔차)를 제곱해 모두 더한 값을 최소로 만드는 방법입니다.

공식 유도

행렬식으로 표현하면

 

$$\hat{\beta} = (X^TX)^{-1} X^T Y$$

잔차와 햇행렬의 성질

• 잔차 : 관측값과 예측값의 차이

• 햇행렬 (Hat Matrix) :

  $H=X(X^{T}X{)}^{-1}{X}^T$ $H = X(X^TX)^{-1}X^T$

잔차의 특징

1. 잔차들의 합은 0

2. 잔차와 각 독립변수의 곱의 합은 0

3. 잔차와 예측값의 곱의 합도 0

중회귀모형의 분산분석표 (ANOVA)

회귀모형의 신뢰성을 평가하는 방법으로, F-검정을 사용합니다.

총제곱합의 분해

 

$$SST = SSR + SSE$$

 

• SST (총제곱합) : 전체 변동

• SSR (회귀제곱합) : 회귀모형이 설명하는 변동

• SSE (오차제곱합) : 설명하지 못한 변동

R 코드 예시 :

결정계수 (R²)와 수정결정계수

• 결정계수 (R²) : 회귀모형이 종속변수를 얼마나 잘 설명하는지 비율

• 수정결정계수 (Adjusted R²) : 설명변수 수에 따른 보정값

 

R 코드 예시 :

결과 예)

• 결정계수 : 0.9799

• 수정결정계수 : 0.9765

 

중상관계수

여러 독립변수를 사용하는 경우, 예측값과 실제값의 상관계수를 제곱하여 R² 값을 확인합니다.

R 코드 예시 :

잔차평균제곱 (Residual Mean Squares)

잔차의 제곱합을 자유도로 나눈 값으로, 잔차의 평균적인 크기를 의미합니다.

중요 내용 요약

객관식 예제문제 (정답 및 해설 포함)

문제 1
중회귀모형에서 독립변수가 2개인 경우의 기본 회귀식은 무엇인가요?

①

$Y = \beta_0 + \epsilon$

②

$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \epsilon$

③

$Y = \beta_0 + \beta_1 X + \epsilon$

④

$Y = \alpha + \epsilon$

 

정답 : ②

해설 : 중회귀모형은 2개 이상의 설명변수를 사용하는 선형식입니다.

문제 2
결정계수(R²)에 대한 설명으로 옳은 것은?

① 값이 0에 가까울수록 설명력이 좋다.
② 회귀모형의 설명력을 나타내는 값이다.
③ 잔차의 평균 제곱값을 의미한다.
④ 설명변수 수에 따라 자동으로 증가한다.

정답 : ②

해설 : R² 값은 회귀모형이 종속변수를 얼마나 잘 설명하는지 나타내는 지표입니다.

문제 3
다음 중 잔차의 성질로 옳지 않은 것은?

① 잔차들의 합은 0이다.
② 잔차와 독립변수의 곱의 합은 0이다.
③ 잔차와 예측값의 곱의 합은 0이다.
④ 잔차의 평균은 항상 1이다.

정답 : ④

해설 : 잔차의 평균은 항상 0이며, 1이 아닙니다.