kt_aivle5

오늘까지 알차게 수업을 들었다. 이제 주말이다!

수업이 점점 깊어지는 게 느껴진다. 내가 아는 부분은 쉽지만 모르는 분야나 부분은 어렵다.

 

데이터 분석 및 의미찾기

 

< x(feature), y(target)이 둘 다 연속형(숫자형) >

 

• 그래프(시각화) : 산점도

숫자 vs 숫자를 비교할 때 중요한 관점이 '직선'(Linearity)이다.

sns.scatterplot(x='x변수',y='y변수',data=dataframe이름)

 

pairplot

한 번에 모든 산점도 그리기 : 시간이 오래 걸린다.

sns.pairplot(dataframe이름)

 

jointplot

산점도와 각각의 히스토그램을 함께 보여준다.

sns.jointplot(x='x변수', y='y변수', data = dataframe이름)

 

regplot

직선을 함께 그어준다. 관련성 보기가 좋지만, 관련이 없어도 직선을 그어줘서 헷갈릴 수도 있다.

sns.regplot(x='a', y='b', data = df)

 

 

• 상관분석: 공분산, 상관계수

- 상관계수 𝑟

공분산을 표준화한 값이다.

-1~1 사이의 값인데 -1,1에 가까울수록 강한 상관관계를 나타낸다.

보통은 0.5 이상이 되면 강하다고 볼 수 있다.

0에 가까우면 거의 관계가 없음

import scipy.stats as spst

# 상관계수와 p-value

spst.pearsonr(df['a'], df['b'])

 실행했을 때 튜플이 나오는데 그때 첫 번째 값이 상관계수이고, 두 번째 값이 p-value

이때 값에 NaN이 있으면 계산이 안되므로 .notnull()로 제외해야 한다.

 

대립가설: 차이가 있다.(상관 관계가 있다 : 상관계수가 0이 아니다.)

귀무가설: 차이가 없다.(상관관계가 없다 : 상관계수가 0이다.)

대체적으로 p-value는 작을수록 좋다.

 

단점: 상관계수는 직선의 관계(선형관계)만 수치화해 준다.

직선의 기울기, 비선형 관계는 고려하지 않는다는 단점

 

한꺼번에 상관계수 구하기 - df.corr()

 

heatmap으로 상관계수를 시각화

plt.figure(figsize = (8, 8))

sns.heatmap(df.corr(),
            annot = True,            # 숫자(상관계수) 표기 여부
            fmt = '.4f',             # 숫자 포멧 : 소수점 4자리까지 표기
            cmap = 'RdYlBu_r',       # 칼라맵
            vmin = -1, vmax = 1)     # 값의 최소, 최대값값

plt.show()

 

이변량 분석

< x(feature)가 범주형이고, y(target)가 연속형(숫자형) >

 

• 시각화: barplot

sns.barplot(x="a", y="b", data=df)

바차트했을 때 나오는 검은 막대기가 신뢰구간, 그게 안 겹치면 차이가 있다.

 

신뢰구간(오차범위)은 좁을수록 믿을만하다.

데이터가 많을수록, 편차가 적을수록 신뢰구간은 좁아 짐.

두 평균에 차이가 크고, 신뢰구간은 겹치지 않을 때 대립가설이 맞다고 볼 수 있다.

 

• 수치화 : t-test, ANOVA

t 통계량 (두 개의 범주에서만 사용 가능)

두 평균의 차이를 표준오차로 나눈 값

보통, t 값이 -2보다 작거나, 2보다 크면 차이가 있다고 본다.

 

두 그룹으로 데이터를 저장 후 t-test를 한다.

spst.ttest_ind(a1, a2)

ANOVA - 셋 이상 집단(범주) 일 때 사용

분산분석

F 통계량 값이 대략 2~3 이상이면 차이가 있다고 판단

 

분산분석을 하기 위해 범주를 여러 개로 쪼갠다.

spst.f_oneway(a1, a2, a3)

 

< x(feature), y(target)이 둘 다 범주형 >

범주와 범주를 비교하고 분석하기 위해서는 먼저 교차표(pd.crosstab)를 만들어야 한다.

cross = pd.crosstab(행, 열, normalize = )
# normalize = 'columns', ‘index’, ‘all’

 

• 시각화: mosaic

예)

mosaic(dataframe, [feature, target])
plt.axhline(1- df['a'].mean(), color = 'r')
plt.show()

 

• 수치화: 카이제곱검정

범주형 변수들 사이에 어떤 관계가 있는지, 수치화 하는 방법

클수록 기대빈도로부터 실제 값에 차이가 크다는 의미(기대빈도와 실제 데이터의 차이)

보통, 자유도의 2~3배 보다 크면, 차이가 있다고 본다.

 

범주형 변수의 자유도 : 범주의 수 - 1

카이제곱검정에서는 (x 변수의 자유도) × (y 변수의 자유도)

(x 변수의 자유도) × (y 변수의 자유도) * (2~3배)보다 카이제곱 통계량이 크면 차이가 있다고 본다.

 

카이제곱 통계량을 구하기 위해서는 먼저 교차표를 집계한 후 카이제곱검정을 해준다.

df = pd.crosstab(d['a'], d['b'])
spst.chi2_contingency(df)

 

< x(feature)가 연속형(숫자형)이고, y(target)가 범주형 >

 

• 시각화 : kdeplot

sns.kdeplot(x='a', data = df, hue ='b', 
            common_norm = False)
# common_norm = False면 각각 면적이 1이라는 뜻
# common_norm = True (기본값) : 둘의 면적을 합쳐서 1이라는 뜻

# 그래프가 겹치는 부분은 전체 평균이다.

sns.kdeplot(x='a', data = df, hue ='b'
            , multiple = 'fill')
# multiple = 'fill' - 비율을 비교해 볼 수 있다.

 

수업에서 몰랐던 부분들을 많이 알게 되어서 좋다. 특히 시각화와 수치화를 배우며 그것으로 상관관계를 분석해 보는 중요한 시간을 가져서 분석지식이 올라간 것 같다.