[데이터마이닝] 8강. 신경망모형 개념, 원리, 딥러닝까지 총정리

데이터마이닝 08강 | 신경망모형 개념, 원리, 학습방법, 딥러닝까지 총정리

이번 강의에서는 데이터마이닝의 주요 기법 중 하나인 신경망모형(Neural Network Model)에 대해 정리합니다.
특히 신경망의 등장배경, 구조, 학습법, 장단점, 딥러닝 개념까지 자세히 알아보겠습니다.

신경망모형이란?

인간의 뇌에서 뉴런이 연결되어 정보를 처리하는 구조를 수학적으로 모형화
각 뉴런(노드)이 서로 연결돼 병렬적, 분산형 정보처리
일부 오류에도 견디는 결함 허용(fault tolerance) 능력

신경망 등장배경

기존 정보처리이론의 한계(논리적, 선형적 처리만 가능) 극복
병렬처리, 비선형 문제 해결 가능

연도	연구자	주요 내용
1943	매컬럭과 피츠	뉴런 모형
1957	로젠블랫	퍼셉트론
1986	러멜하트, 맥클랜드	병렬분산처리(역전파 알고리즘)

신경망 구성과 종류

구성	설명
입력층	입력 변수의 노드
은닉층	비선형 변환 및 중간처리
출력층	결과값 예측

주요 형태

단층신경망 : 입력층-출력층
다층신경망(MLP) : 입력층-은닉층-출력층
RBF 신경망 : 은닉층 활성함수에 정규분포형태 사용
EBF 신경망 : RBF 보완형

활성함수 종류

활성함수	장점	단점
시그모이드	출력이 0~1 사이로 확률처럼 해석 가능	출력 범위가 좁아 기울기 소실 문제 발생 (vanishing gradient) 음수 영역 정보 표현 어려움
하이퍼볼릭 탄젠트 (tanh)	출력이 -1~1로 시그모이드보다 중심이 0에 가까워 학습 빠름	기울기 소실 문제 여전히 존재 계산 비용 시그모이드보다 약간 큼
ReLU	계산이 간단하고 빠름 기울기 소실 문제 완화 희소 활성화로 효율적	음수 구간에서 뉴런 죽는 문제(Dead ReLU) 발생 가능 출력이 0 이하로 완전히 차단됨

활성함수

장점

단점

시그모이드

출력이 0~1 사이로 확률처럼 해석 가능

출력 범위가 좁아 기울기 소실 문제 발생 (vanishing gradient)

음수 영역 정보 표현 어려움

하이퍼볼릭 탄젠트 (tanh)

출력이 -1~1로 시그모이드보다 중심이 0에 가까워 학습 빠름

기울기 소실 문제 여전히 존재

계산 비용 시그모이드보다 약간 큼

ReLU

계산이 간단하고 빠름

기울기 소실 문제 완화

희소 활성화로 효율적

음수 구간에서 뉴런 죽는 문제(Dead ReLU) 발생 가능

출력이 0 이하로 완전히 차단됨

간단한 수식

시그모이드:

$\sigma(x) = \frac{1}{1 + e^{-x}}$
하이퍼볼릭 탄젠트:

$\tanh(x) = \frac{e^{x} – e^{-x}}{e^{x} + e^{-x}}$
ReLU:

$\text{ReLU}(x) = \max(0, x)$

신경망 학습법

목적함수 : 오차제곱합 또는 로그우도
역전파 알고리즘(Backpropagation) : 오차를 입력층으로 역전달해 가중치 수정
학습률 : 가중치 조정속도

신경망 작성 6단계

변수선택 및 변환
신경망 구조설정
학습수행
적합성 검정
모형 완성
새로운 데이터 예측

Tip : 입력변수는 표준화, 범주형은 온도계식 코딩

신경망의 장단점

장점

비선형 문제에 효과적
노이즈에 강함
통계적 가정 불필요

단점

설명력 부족(블랙박스)
복잡성, 전문가 필요
입력 오류 반영 지연

딥러닝이란?

은닉층을 여러 개 쌓은 심층 신경망
대용량 데이터와 GPU 병렬처리로 실용화
빅데이터, 음성·영상 인식 등 다양한 분야에 활용

중요내용 정리

신경망 : 병렬처리, 비선형 문제 적합
역전파 학습법 : 오차 역전달, 가중치 조정
활성함수 : 시그모이드, tanh, ReLU
딥러닝 : 은닉층 깊은 심층신경망

객관식 문제 & 해설

Q1. 신경망 모형의 대표적 학습방법은?
① 로지스틱 회귀
② 역전파 알고리즘
③ CART
④ 랜덤포레스트

정답: ②
해설: 신경망 학습의 핵심은 역전파 알고리즘으로, 오차를 입력층으로 전달해 가중치를 수정합니다.

Q2. 신경망모형에서 비선형 활성함수로 가장 많이 쓰이는 함수는?
① 선형함수
② 시그모이드 함수
③ 다항함수
④ 선형회귀식

정답: ②
해설: 시그모이드 함수는 S자형으로 0~1 사이 값을 가져 신경망 활성함수로 많이 사용됩니다.

Q3. 딥러닝의 정의로 적절한 것은?
① 입력층과 출력층만 있는 신경망
② 은닉층이 많은 심층 신경망
③ 선형 회귀분석
④ 단층 퍼셉트론

정답: ②
해설: 딥러닝은 은닉층을 많이 쌓은 심층 신경망을 의미합니다.