[3과목] [정형 데이터 마이닝] 분류 분석

ROC 곡선

- 분류 분석 모형의 평가를 쉽게 비교할 수 있도록 시각화한 그래프

- 가로: FPR(1 - 특이도), 세로: TPR(민감도)

- AUROC의 값이 1에 가까울수록 성능 우수, 0.5에 가까울수록 좋지 않음!

---

혼동 행렬 평가 지표 - 계산식(정확도, 민, 특, 정) ........민! 특! 정.......!

- 정확도

- 민감도: 참 긍정률(TPR), 재현율, 정중률

- 특이도

- 정밀도

오분류표(혼동 행렬)		예측(기준)
		P(Positive)	N(Negative)
실제	P(Positive)	TP	FN
	N(Negative)	FP	TN

쉽게 외우자....흑

---

앙상블 분석(보배부랜스)

- 여러가지 동일한 혹은 상이한 모형들의 결과를 종합하여 최종 의사결정에 활용하는 기법

- 종류: 보팅, 배깅, 부스팅, 랜덤 포레스트, 스태킹

- 여러 개의 모델을 각각 훈련 시킨 뒤 훈련 결과를 통합(평균 혹은 다수결)하여 최종 결론을 내리는 모형

- 장점: 단일 모형 분석보다 신뢰성 및 예측 정확도 향상

- 단점: 모형 해석 어려움

 

🗒️ 앙상블 분석 종류

1. 배깅

- 같은 알고리즘 여러번 반복 학습 ▸ 부트스트랩(랜덤 복원 추출) 샘플링으로 만든 서로 다른 데이터셋을 사용하여 학습

- 부트 스트랩: 주어진 자료에서 동일한 크기의 표본을 랜덤 복원 추출(중복 허용)로 뽑은 자료

- 각 모델 병렬 학습 ▸ 평균 및 다수결을 통해 최종 예측 수행

- 같은 데이터가 여러번 추출 될 수 있음

- 어떤 데이터는 아예 추출되지 않을 수 있음(34%)

 

2. 부스팅

- 잘못 분류된 개체들 ▸ 가중치 적용(훈련 오차 빠른 감소)

- 새로운 분류 규칙을 만들고 이 과정 반복 ▸ 최종 예측 모형 만들기

- 예측력 약한 모형을 결합하여 강한 예측 모형을 만들 수 있음

- 여러 모델이 순차적으로 학습

- 배깅에 비해 높은 성능(예측력)을 보이지만 시간이 많이 발생

- 대표 알고리즘: AdaBoost, GradientBoost

AdaBoost	- 오분류된 데이터에 가중치를 더 주는 방식으로 다음 모델 학습 - 약한 모델을 순차적 연결 - 각 모델의 예측을 가중합해서 최종 예측 - 이상치 민감
GradientBoost	- 이전 모델의 오차(잔차)를 줄이기 위해 새로운 모델 학습 - 오차를 그래디언트(기울기) 방향으로 줄여감(경사 하강법) - AdaBoost보다 유연, 정밀한 조정 가능 - 계산 비용이 크지만, 성능이 좋음 - 모델: XGB, Light GBM, CatBoost

 

3. 랜덤 포레스트

- 배깅 부스팅보다 더 많은 무작위성을 주어 약한 학습기들을 생성한 후 이를 결합하여 최종 학습기를 만드는 방식

- 트리를 구성할 때 설명변수의 일부만을 고려하여 최적의 분할 실시

- 높은 예측력

- 모든 분류기들은 높은 비상관성(독립적)을 갖기 때문에 일반화 성능을 향상시킬 수 있음(과적합 문제 해소)

- 이존적 설명이나 최종 결과에 대한 해석이 어려움

- 시간이 오래걸림

 

4. 스태킹(= 결과 재활용)

- 여러 분류기 간의 결과를 다시 훈련용 데이터로 사용 ▸ 더 강력한 최종 모형(메타모델) 구축

- 서로 다른 알고리즘으로 작성될 수 있음

- 모델 간의 다양성을 높일 때 가장 효과적

- 충분한 데이터가 없을 때 효과적

- 높은 복잡도, 오랜 학습시간, 해석의 어려움

---

인공신경망 분석

- 뉴런이 전기 신호를 전달하는 모습 모방

- 분류와 예측 모형 사용

- 구조: 입력층, 은닉층, 출력층(각 층마다 여러 개의 뉴런(퍼셉트론)으로 구성)

🗒️ 퍼셉트론: 입력값, 가중치, 가중합, 활성화 함수(시그모이드), 출력값 구성

- 입력값을 받아서 출력값을 만들기 위해 활성화 함수 사용

- 많은 변수존재, 복잡한 비선형관계시 유용

- 잡음에 대해 민감하지 않음

- 해석이 어렵고, 적절한 은닉충 개수 필요(초기 은닉충 개수 지정 어려움)

적은 은닉충	- 과소 적합 발생 - 복잡한 모델 부적합
많은 은닉충	- 과대 적합 및 기울기 소실 문제 발생 - 복잡한 모델 구현 가능

 

🗒️ 과소 적합: 규칙을 찾지 못해 모델 성능이 낮게 나옴

🗒️ 과대 적합: 모델이 훈련 세트에 과하게 적합한 상태가 되어 일반성이 떨어지는 현상, 모델이 훈련세트에 집착하여 학습하게 됨.

 

🗒️  기울기 소실 문제

- 시그모이드 함수

- 시그모이드는 미분시 최대치가 0.3으로 1보다 작으므로 계속 곱하다 보면 기울기가 0에 가까워지게 됨

- 층을 거쳐 갈수록 기울기가 사라져 가중치 수정이 어려워짐

-  이러한 문제를 해결하기 위한 여러 활성함수의 생성(ReLU, Leaky ReLU)

시그모이드 함수

● 다층 퍼셉트론

- 입력층과 출력층 사이에 하나 이상의 은닉충을 두어 비선형적으로 분리되는 데이터에 학습이 가능한 퍼셉트론

- 역전파 알고리즘으로 다층으로 구성된 퍼셉트론 학습 가능

- 활성화 함수: 시그모이드 함수

 

[ 인공신경망 분석 학습 과정 ]

- 입력값에 대한 올바른 출력이 나오도록 각 가중치를 조절하는 과정 반복

1) 입력값에 네트워크를 넣고 예측값 계산(순전파)

2) 예측값과 실제값 사이의 차이를 계산(오차 계산)

3) 오차를 출력층에서 입력층 방향으로 전달하여 각 노드의 기여도 계산(오차 역전파)

4) 각 가중치를 오차가 줄어드는 방향으로 조금씩 조절함(경사 하강법)

5) 이 과정을 여러번 반복하여 모델이 점점 더 정확한 예측을 할 수 있도록 학습

 

🗒️ 순전파: 입력 데이터를 신경망을 통해 한 방향으로 통과시켜 최종 출력을 계산하는 과정

🗒️ 역전파: 이 출력값과 실제 정답 사이의 오차를 계산한 귀, 이 오차를 거꾸로 거슬러 올라가며 가중치를 업데이트하는 과정

 

🗒️ 오차 역전파: 가중치를 초기값으로부터 점차 오차를 줄이는 방향으로 수정

🗒️ 경사 하강법: 함수 기울기가 낮은 방향으로 점차 이동 ▸ 최종 기울기가 최소값(~0)에 근접할 때까지 가중치 반복 갱신

- 학습 스탭(학습률)이 높은 경우 빠르게 학습하지만 최소지점을 최적화 하지 못하고 지나칠 가능성 있음

경사 하강법

 

---

활성화 함수

- 선형성 극복 방법

- 가중합으로 얻은 신호가 임계값 보다 크면 활성화, 작으면 비활성화

- 활성함수의 유형에 따라 출력값의 범위 결정

계단 함수	- 음의 값 X - 입력값이 양수 = 1, 음수 = 0
하이퍼블릭 탄젠트	- -1 ~ 1 사이의 확률(중심값을 0으로 설정) - 시그모이드 함수의 느린 최적화 과정 개선
시그모이드	- 0~1 사이의 연속형 - 로지스틱
선형 함수(linear)	- -∞, +∞ - 그래프가 직선인 모양
렐루(ReLU)	- 0 또는 +∞ - 기울기 소실 문제 해결 - 빠른 학습
소프트 맥스	- 출력값과 목표값이 다범주 - 각 범주가 속할 사후 확률 제공