[회귀분석] 4강. 표준화된 중회귀분석과 변수선택법 완전 정리

표준화된 중회귀분석이란?

일반 중회귀모형에서는 독립변수마다 단위가 다르기 때문에
기울기(회귀계수)를 단순 비교하는 것이 어렵습니다.

이를 해결하기 위해 각 변수의 단위를 제거하고 표준화하는 방법이 표준화 회귀분석입니다.

표준화 회귀계수

표준화된 회귀계수는 독립변수의 영향력을 상대적으로 비교할 때 유용하게 활용됩니다.
값이 클수록 반응변수에 미치는 영향이 크다는 뜻입니다.

R 코드 예시

결과 :
X1의 영향력이 X2보다 크다는 것을 확인할 수 있습니다.

회귀계수의 추정과 검정

추정된 회귀계수가 통계적으로 유의한지 검정하는 방법은
t-검정과 신뢰구간 계산을 통해 확인할 수 있습니다.

신뢰구간 공식

 

$$\hat{\beta} \pm t_{\alpha/2, n-k-1} \times \text{표준오차}$$

R 코드 예시

변수 추가에 따른 추가제곱합 검토

중회귀분석에서는 특정 변수를 추가했을 때 모형의 설명력이 얼마나 좋아지는지를
추가제곱합(Extra Sum of Squares)을 통해 확인합니다.

R 코드 예시

p-value가 0.05보다 작으면 해당 변수가 모형에 유의하게 기여한다고 해석합니다.

추가변수그림 (Added Variable Plot)

새로운 변수가 기존 모형의 설명력에 얼마나 기여하는지를
그래프로 확인할 수 있는 방법이 추가변수그림(Partial Regression Plot)입니다.

R 코드 예시

잔차 검토

중회귀모형의 기본 가정이 잘 지켜졌는지를
잔차 산점도를 통해 확인할 수 있습니다.

R 코드 예시

잔차가 랜덤하게 분포하면 모형이 적절하게 설정되었다고 볼 수 있습니다.

실습 사례 — chemical.csv 데이터

데이터 요약 통계 및 상관계수 확인

회귀모형 적합

분산분석표 확인

잔차 및 추가변수그림

중요 내용 정리

객관식 예제문제 (정답 및 해설)

문제 1

다음 중 표준화 회귀분석의 목적은 무엇인가요?

① 설명변수를 제거하기 위해
② 설명변수 간 단위 차이를 제거해 영향력 비교
③ 회귀계수를 0으로 만들기 위해
④ 분산분석표를 작성하기 위해

정답 : ②
해설 : 표준화 회귀분석은 독립변수 간 단위 차이를 없애고 영향력을 비교하기 위해 수행합니다.

문제 2
회귀모형에서 추가변수그림(added variable plot)의 용도는 무엇인가요?

① 잔차의 분포 확인
② 새로운 변수의 설명력 확인
③ 오차항의 정규성 검정
④ 표준화 회귀계수 계산

정답 : ②
해설 : 추가변수그림은 새 변수가 기존 모형의 설명력에 얼마나 기여하는지 확인하는 그래프입니다.

문제 3
다음 중 잔차 산점도의 해석으로 적절하지 않은 것은?

① 잔차가 랜덤하게 퍼져 있어야 한다.
② 특정 패턴이 나타나면 모형이 잘 설정된 것이다.
③ 잔차의 평균은 0에 가까워야 한다.
④ 잔차 산점도를 통해 이상값을 확인할 수 있다.

정답 : ②
해설 : 잔차 산점도에서 특정 패턴이 나타난다면 모형이 잘못 설정됐을 가능성이 있습니다.