[3과목] [통계 분석] 다변량 분석

변수 변환의 종류(단순 기능 변환, 비닝, 데이터 스케일링, 인코딩)

단순 기능 변환	- 분포 변경 목적 - 로그 변환: 0 또는 음수 값 적용 불가 - 루트 변환: 0 또는 음수 값 적용 가능
비닝(=구간화)	- 연속형 변수 ▸ 범주형 변수 전환 - 잡음 제거 ▸ 데이터 평활화 - 회귀 예측 모델
데이터 스케일링	- 각 변수의 스케일(단위, 범위)이 다를때 ▸ 동일한 기준으로 조정 - 거리 기반 알고리즘 - 정규화, 표준화 방법 사용    ▸ 정규화(= 최소-최대 정규화)       - 데이터 범위: 0~1 사이 변환       - 계산식: 중앙값 - min(x) / max(x) - min(x)    ▸ 표준화       - 표준정규분포를 갖도록 표준화 변환       - 평균 = 0, 표준편차 = 1
인코딩(=부호화)	- 기계가 이해할 수 있도록 데이터를 수치(숫자) 형태로 변환하는 과정 - 범주형 변수(문자형) ▸ 수치형 데이터 변환 - 종류: Label Encoding, One Hot Encoding

🗒️ 단순 기능 변환 방법

양의 왜도	음의 왜도
- 로그 변환 - 루트 변환 - 역수 변환	- 제곱 변환 - 지수 변환

 

🗒️ 인코딩 종류(Label Encoding, One Hot Encoding)

Label Encoding
남	0	1
여	1	0

One Hot Encoding
이름	학생_A	학생_B	학생_C
A	1	0	0
B	0	1	0
C	0	0	1

 

---

상관 관계 분석

- 두 개의 변수 간 상관 관계(상호 연관성)를 분석하는 방법

  ▸ 한 변수가 증가(또는 감소)시 다른 변수가 어떻게 변하는지 확인

- 변수 간 인과관계 설명하는 것이 아니라 관련성의 정도 분석

 

1. 공분산(COV) ⭐️⭐️⭐️⭐️⭐️

- 두 변수 사이의 상관 관계를 나타내는 값

- 변수의 크기나 단위의 영향을 받음

- 측정 단위에 따라 달라지므로 선형관계의 강도를 나타내지 못함

COV(x,y) > 0 ▸ x 증가, y 증가

COV(x,y) > 0 ▸ x 증가, y 감소 

COV(x,y) = 0 ▸ 두 변수간 선형적 관계 없음, 서로 독립을 의미하는 것은 아님...

 

2. 상관계수 ⭐️⭐️⭐️⭐️⭐️

- 두 변수 사이의 연관성을 수치적으로 객관화하여 두 변수 사이의 방향성(음의상관, 양의상관)과 강도를 표현

- -1 부터 1 사잇값을 가지며 절대값이 1에 가까울수록 상관관계 강도 큼

- 상관분석의 유형: 피어슨 상관계수, 스피어만 상관계수

피어슨 상관계수	스피어만 상관계수
- 선형적인 크기만 측정 ▸ 모수적 척도 - 양적 척도(등간 척도, 비율 척도) - 연속형 변수	- 선형 관계 + 비선형 상관 관계 측정 가능 - 순서(서열)척도 - 순서형, 연속형, 이산형 변수 - 원시 데이터가 아닌 각 변수에 대해 순위를 매긴 값을 기반 - 비모수적 방법으로 두 변수간의 단조 관계 평가

척도의 종류 정리 블로그

 

🗒️ 공분산은 변수의 크기나 단위의 영향을 받지만, 상관계수는 이를 정규화한 값이므로 단위의 영향을 받지 않음!

🗒️ 스피어만 상관계수는 범주형 변수에 적용할 수 없으며, 선형 관계를 측정하지 못함!

 

---

다차원 척도법(MDS)

- 거리를 최대한 보존(= 차원 축소 기법)

- 개체들 사이의 유사성/근접성을 측정하여 저차원이 공간상에 점으로 표현

- 거리 표현: 유클리드 거리

- 평가 척도: 스트레스(stress) 값을 이용하여 적합도 검정(0에 가까울수록 적합도 수준 완벽 / 1에 가까울수록 나쁨)

- 계량적 MDS: 양적척도(구간/비율척도)인 경우

- 비계량적 MDS: 순서(서열) 척도인 경우

 

---

주성분 분석(PCA)

- 상관관계가 있는 자료 변동 최소화 ▸ 저차원 자료 변환(차원 축소 기법)

- 상관관계가 높은 변수들의 선형 결합을 통해 차원 축소 ▸ 새로운 변수 생성

- 공분산 행렬 또는 상관계수 행렬을 사용해 설명력 높은(분산 극대화) 주성분 도출

- 새로 유도된 주성분은 해석하기 어려움

 

[ 주성분 선택법]

- 독립변수들과 주성분과의 거리인 정보 손실량을 최소화

- 주성분의 분산 설명력을 최대화하는 모형 선택

- 누적 분산 설명력(전체 변이 공헌도)이 70% 이상인 주성분 수 선택

- 고유값이 1 이상인 주성분만 선택

 

🗒️ 공분산 행렬

- 각 변수 간 절대적인 분산과 공분산을 나타냄

- 변수 측정 단위를 그대로 반영하므로 같은 단위를 갖는 변수일 경우 사용됨(변수 스케일이 민감)

 

🗒️ 상관계수 행렬

- 공분산을 두 변수의 표준편차의 곱으로 나누어 계산

   ▸ 계산식: 공분산 0.6이고 X의 표준편차가 2, Y의 표준편차가 3일때 피어슨 상관계수는 얼마인가?

    0.6 / (2 * 3) = 0.1

- 변수 간의 상대적 관계만을 반영

- 스케일이 다른 변수들을 비교할 때 사용